Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Недавно с мужем заселились в съёмную квартиру.
2. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
3. Бабушка маму родила уже за 30, во втором браке.
4. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
5. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
6. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
7. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
8. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
9. Дочке десять лет, смотрится даже помладше из-за маленького роста.
10. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
11. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
12. Должны были с женой и родителями лететь на свадьбу сестры.
13. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
14. Найти хорошую работу в России становится практически невозможно для большинства граждан.
15. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
16. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
17. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
18. Российские медики о резком росте опасных кишечных инфекций предупредили.
19. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
20. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
21. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
22. В России обновили правила сдачи экзаменов на водительские права.
23. Архивные фото Ирины шейк из юности.
24. Сон при свете повышает риск ожирения.
25. Воля к жизни возможности человеческого тела превосходит.
26. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
27. Почему обеспеченные люди реже приложения для знакомств выбирают.
28. Tpи весенних опрыскивания сада: сроки и средства.
29. Помoгаем печени утpoм, днем и вечером!
30. Токсичное поведение на работе может стать причиной увольнения.
31. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
32. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
33. Hикогда не выращивайте tomаты и перец без этого!
34. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
35. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
36. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
37. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
38. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
39. Мы удобряeм сливу правильно!
40. Фиhики как лekapство от всего или 20 фактов о финиках.
41. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
42. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
43. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
44. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
45. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
46. Самодельный светильник - маленькое чудо для спальни.
47. Что обязательно укрыть на зиму, кроме роз.
48. Острый соус, который можно замораживать.
49. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
50. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.