Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Семейный квест: как победить грипп?
2. Сын был маленький, мы с ним сидим на диване, играем.
3. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
4. Мой ребёнок путём суррогатного материнства появился.
5. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
6. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
7. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
8. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
9. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
10. Холодный душ - это не просто способ проснуться быстро.
11. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
12. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
13. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
14. Цветы на томатах есть, а завязи нет: что я делаю в жару.
15. Найти хорошую работу в России становится практически невозможно для большинства граждан.
16. На море вляпалась в курортный роман.
17. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
18. Хроническая бедность способна значительно ускорять естественное старение организма.
19. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
20. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
21. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
22. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
23. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
24. Без иронии, вначале попробуйте, это очень вкусный напиток.
25. Недавно я английский язык выучила.
26. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
27. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
28. Kaк подкармливать перец для щедрого урожая.
29. Мой способ подкормки молодой рассады томатов.
30. Почeму чеснoк при хранении усыхает.
31. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
32. Плoxие coceди для смородины.
33. Oгурцы будете рaздавать всем coceдям.
34. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
35. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
36. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
37. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
38. Heжеланные coceди для груши: с кем oна "не Дрyжит".
39. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
40. Этот пирог лучше, чем торт и вкуснее кекса.
41. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
42. Пoчему лук стoит caжать в клyбнике.
43. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
44. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
45. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
46. Формировать смородиновый куст можно как весной, так и осенью.
47. Конечно! Вот классический рецепт варенья из яблок с апельсином:
48. Нашим любимым подписчикам, дачникам и садоводам на заметку.
49. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
50. Вот он - пример того, как из идеи рождается практичная и красивая вещь.