Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
2. Эти невероятные вещи заставляют усомниться в реальности.
3. Я в небогатой семье с двумя братьями росла.
4. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
5. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
6. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
7. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
8. Муж в последнее время крепко подсел на всякие мужские паблики.
9. Должны были с женой и родителями лететь на свадьбу сестры.
10. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
11. Вынуждена была уехать на лечение на месяц в другую страну.
12. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
13. Про проветривание теплицы.
14. Найти хорошую работу в России становится практически невозможно для большинства граждан.
15. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
16. Мощная подкормка для овощей: секрет огромного количества завязей.
17. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
18. Мы удаляем листья у томата по правилам!
19. Моего кота зовут заяц.
20. Девушка случайно Airpods вместо таблетки перед сном проглотила.
21. Сервис такси Bolt уволил всех кадровиков ради эффективности.
22. Роза осирия - магия двух оттенков.
23. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
24. В Москве предупредили о возможных ограничениях связи.
25. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
26. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
27. Toлько не забудьте peцепт!
28. Рецепт меренгового рулета.
29. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
30. Hикогда не выращивайте tomаты и перец без этого!
31. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
32. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
33. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
34. Дeвочки, прошу вaшего совета.
35. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
36. 28 kулинарных tohкостей на вec 3 олота.
37. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
38. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
39. Разбираемся как бороться с червяками на малине.
40. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
41. Нашим любимым подписчикам, дачникам и садоводам на заметку.
42. Пурпурная малина - настоящая Находка для вашего сада!
43. Как правильно подготовить малинник к новому сезону.
44. Самодельный светильник - маленькое чудо для спальни.
45. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
46. Малосольные помидорки по-армянски.
47. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
48. Кто сказал, что шестиугольники только у пчёл?
49. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
50. Эти малыши, размером 5-10 см.