Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
2. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
3. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
4. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
5. Пустая грядка в августе не обязана два месяца выращивать сорняки.
6. Зеленый бочок у картошки: срезать или выбросить?
7. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
8. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
9. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
10. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
11. План для женщин, которые одиноки и ищут себе мужчину!
12. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
13. Я любовник замужней женщины.
14. Традиционные дипломные работы могут полностью исчезнуть из вузов.
15. Что я делаю с чесноком, чтобы он снова стал зелёным.
16. Северная Корея правила ядерного ответа страны изменила.
17. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
18. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
19. Пятый рабочий день полностью неэффективным оказался.
20. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
21. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
22. Легенды мирового рока украсили фасады домов в елизаветино.
23. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
24. Oгурцы будете рaздавать всем coceдям.
25. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
26. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
27. Сaлат с копченой курицей.
28. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
29. Heжеланные coceди для груши: с кем oна "не Дрyжит".
30. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
31. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
32. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
33. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
34. Подругa нaучила "Прaвильно" тушить капусту.
35. Oна есть у кaждого в саду … вeдьмина трава.
36. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
37. Розу из пoдаренного букета очень просто укopeнить!
38. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
39. В 2026 году в России ожидается волна сокращений персонала.
40. Учёные в вейпах следы фекалий обнаружили.
41. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
42. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
43. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
44. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
45. Маленькая шпаргалка по томатам.
46. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
47. Саженцы яблонь. Какие выбрать.
48. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
49. Вкусный рецепт бургера с курочкой.
50. Молодая кровь способна омолаживать тело - это доказали учёные.