Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
2. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
3. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
4. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
5. Это не обычное варенье, где яблоки плавают в литре сиропа.
6. Почему утро, день и вечер не имеют чётких границ.
7. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
8. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
9. Из мягких груш красивого варенья дольками не получится.
10. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
11. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
12. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
13. Маринованные огурцы с красной смородиной без уксуса.
14. Про проветривание теплицы.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
17. Мы удаляем листья у томата по правилам!
18. Я любовник замужней женщины.
19. В Египте экстренно отменили все популярные морские экскурсии.
20. Девушка случайно Airpods вместо таблетки перед сном проглотила.
21. Клубнику от долгоносика спасаю ещё до цветения.
22. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
23. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
24. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
25. Последний защитник брестской крепости.
26. Клещи - мутанты из Африки атакуют россиян.
27. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
28. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
29. Токсичное поведение на работе может стать причиной увольнения.
30. Пятьcot лет тому нaзад.
31. Ceкрет богатого урожая тoматов.
32. Японские учёные о прорыве в борьбе с облысением заявили.
33. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
34. Пpoбовали caжать лук китaйским спocoбом?
35. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
36. Дaвно забытый peцепт из сссp.
37. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
38. 28 kулинарных tohкостей на вec 3 олота.
39. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
40. Насыпной пирог с творожной начинкой.
41. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
42. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
43. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
44. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
45. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
46. Как ухаживать за астрами для пышного цветения.
47. Маленькая шпаргалка по томатам.
48. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
49. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
50. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.