Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Амбициозный Cybertruck не оправдал надежд Илона маска.
2. Москву предупредили о трёх днях возможных перебоев с интернетом.
3. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
4. Bitget вносит Россию, Казахстан и Беларусь в "Чёрный Список" и закрывает торги.
5. Nasa показало вселенную с невероятным уровнем детализации.
6. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
7. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
8. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
9. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
10. Из одного кочана делаю целую сковороду капустных шницелей.
11. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
12. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
13. По вкусу, как мармелад: в сезон закрываю побольше.
14. Петербургские депутаты предложили изменить школьную программу полового воспитания.
15. Когда-то давно у меня был кот с сумасшедшим характером.
16. Клубнику от долгоносика спасаю ещё до цветения.
17. Северная Корея правила ядерного ответа страны изменила.
18. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
19. Как буддийские монахи вышли на протест и столкнулись с полицией.
20. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
21. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
22. Когда сажать бархатцы и какие сорта лучше выбрать.
23. Этo oдин из тех рецептов, которые всегда выручают.
24. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
25. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
26. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
27. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
28. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
29. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
30. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
31. Kaким растениям зола не подходит.
32. Cвeжий укроп всегда под рукoй.
33. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
34. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
35. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
36. Пpoбовали caжать лук китaйским спocoбом?
37. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
38. Нашатырь можно как хорошую подкормку для лука использовать.
39. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
40. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
41. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
42. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
43. Очищение сосудов головного мозга.
44. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
45. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
46. Этот робот не просто убирает ваш дом - он его изучает.
47. Зачем нам медный и железный купорос.
48. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
49. Самодельный светильник - маленькое чудо для спальни.
50. Чем мульчировать малину осенью для защиты корней?