Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
2. Чуть не оставила фасоль на грядке до полного высыхания.
3. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
4. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
5. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
6. Открыла вчера тыкву, а она оказалась огромной.
7. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
8. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
9. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
10. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
11. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
12. По вкусу, как мармелад: в сезон закрываю побольше.
13. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
14. На старости лет нашёл лайфхак для ловеласа.
15. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
16. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
17. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
18. Завязей на томатах будет море, а фитофтора обойдёт стороной.
19. Нарциссизм всё чаще связывают именно с генетикой.
20. Почему желтеет лук и чеснок и как быстро их "Оживить".
21. Мошенники фейковые сообщения от Telegram рассылают.
22. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
23. Банановая кожура в БОРЬБЕ с муравьями.
24. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
25. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
26. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
27. 10 растений с белыми цветами.
28. Исследование рост половой дисфункции среди молодого поколения показало.
29. Клещи - мутанты из Африки атакуют россиян.
30. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
31. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
32. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
33. Нашатырь можно как хорошую подкормку для лука использовать.
34. На заметку садоводам.
35. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
36. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
37. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
38. Замиокулькас. Это следует сделать сразу после покупки.
39. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
40. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
41. Учёные в вейпах следы фекалий обнаружили.
42. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
43. Морозостойкие сорта гибридной хурмы.
44. Сердце в словах: почему мы так любим любовные романы
45. Начинайте готовить ягодные кустарники к холодам.
46. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
47. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
48. Создать овальные подносы можно легко, используя только свои руки.
49. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
50. Лето без арбуза и дыни - не лето!