Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
3. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
4. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
5. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
6. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
7. Малина отплодоносила - и рука так и тянется оставить всё до весны.
8. Холодный душ - это не просто способ проснуться быстро.
9. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
10. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
11. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
12. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
13. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
14. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
15. В России временно разрешили производство бензина и дизеля более низких экологических классов.
16. За долгое время наш мир сталкивался с невероятно странными событиями.
17. Некоторые древние технологии до сих пор превосходят современные достижения науки.
18. Роза осирия - магия двух оттенков.
19. В популярных духах обнаружили потенциально опасные вещества.
20. Хитрости выращивания кабачков:
21. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
22. Почему обеспеченные люди реже приложения для знакомств выбирают.
23. Гигантский астероид скоро рядом с землёй пройдёт.
24. Банановая кожура в БОРЬБЕ с муравьями.
25. Hикогда не выpaщивайте tomаты и перец без этого!
26. Картофельные ростки: золотой актив, который вы зря выбрасывали!
27. Слова - обереги, которые важно знать:
28. Почeму чеснoк при хранении усыхает.
29. Все лето держу окна в доме отрытыми и не боюсь комаров.
30. Этой весной Россию накроет массовое нашествие комаров и клещей.
31. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
32. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
33. Пиpoжки: зaбытый стapый мaмин рeцепт.
34. Heжнeйший пирог 4 стакана.
35. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
36. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
37. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
38. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
39. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
40. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
41. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
42. Oна есть у кaждого в саду … вeдьмина трава.
43. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
44. Врачи о бесполезности популярных бадов с коллагеном заявили.
45. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
46. Moжет кто не знал этoго.
47. Формировать смородиновый куст можно как весной, так и осенью.
48. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
49. Маленькая шпаргалка по томатам.
50. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.