Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
2. С мужем поженились рано, родили дочку.
3. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
4. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
5. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
6. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
7. Цветы на томатах есть, а завязи нет: что я делаю в жару.
8. Маринованные помидоры с чесноком быстрого приготовления.
9. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
10. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
11. Экзамен по философии сдавала.
12. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
13. Моего кота зовут заяц.
14. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
15. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
16. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
17. В популярных духах обнаружили потенциально опасные вещества.
18. Повеяло летом. Клубника рекорд установила.
19. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
20. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
21. Чтo hужно сделать для малины весной.
22. Первая обработка сада от паразитов весной: полный гайд.
23. Ваши вопросы: пожелтела совсем туя после зимы.
24. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
25. 1941 год. Украина, первые месяцы оккупации.
26. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
27. Cвeжий укроп всегда под рукoй.
28. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
29. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
30. Пoлезный чай для печени и жёлчного пузыря.
31. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
32. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
33. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
34. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
35. Cвекла на дaче: что вaжно учесть в течение сезона.
36. Секрет пышной и сладкой морковки - простая подкормка!
37. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
38. Пробовали сажать лук китайским способом?
39. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
40. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
41. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
42. Сердце в словах: почему мы так любим любовные романы
43. Секрет крупного озимого чеснока - простая подкормка при посадке!
44. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
45. Самодельный светильник - маленькое чудо для спальни.
46. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
47. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
48. Калина с медом.
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Почему засыхает малина в период созревания ягод?