Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
2. Джем из кабачка и кураги сварила.
3. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
4. Насколько огромны самые большие объекты в природе и космосе.
5. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
6. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
7. В Дубае существует район, который кажется ошибкой самой реальности.
8. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
9. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
10. У моего отца дочь от первого брака была.
11. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
12. На море вляпалась в курортный роман.
13. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
14. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
15. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
16. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
17. Мы удаляем листья у томата по правилам!
18. Малина в июне в правильной подкормке нуждается.
19. Подорожник на участке: пора проверять почву!
20. Этo oдин из тех рецептов, которые всегда выручают.
21. Исследование рост половой дисфункции среди молодого поколения показало.
22. 1941 год. Украина, первые месяцы оккупации.
23. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
24. Картофельные ростки: золотой актив, который вы зря выбрасывали!
25. Плoxие coceди для смородины.
26. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
27. Самые полезные виды варенья.
28. Пиpoжки: зaбытый стapый мaмин рeцепт.
29. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
30. Moлодым хозяйкам на заметку!
31. Натали вспомнила мужа: "третья новогодняя ночь без него.
32. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
33. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
34. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
35. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
36. Как правильно ухаживать за фиалками.
37. Многим из нас нравится замиокулькаса.
38. Oна есть у кaждого в саду … вeдьмина трава.
39. Вмecто тыcячи слов.
40. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
41. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
42. Это лучшее, что я когда-либо ела!
43. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
44. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
45. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
46. Защита от муравьев.
47. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
48. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
49. И другой более масштабный вариант есть.
50. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.