Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В Афганистане некоторые девочки получают свободу, только став "Мальчиками".
2. Амбициозный Cybertruck не оправдал надежд Илона маска.
3. Живём с мужем в квартире, которая до брака принадлежала мужу.
4. Мой ребёнок путём суррогатного материнства появился.
5. Поссорились с женой.
6. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
7. Удивительные товарищи всё-таки - родственнички.
8. Моя свекровь в третий раз беременна.
9. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
10. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
11. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
12. В Россию прибыла первая партия бензина из индии.
13. Клубника отплодоносила, но бросать её до весны нельзя.
14. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
15. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
16. Как правильно разделить и пересадить лилии: пошаговая инструкция.
17. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
18. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
19. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
20. Сделал тест днк на дочь - результат 0%.
21. Сервис такси Bolt уволил всех кадровиков ради эффективности.
22. Завязей на томатах будет море, а фитофтора обойдёт стороной.
23. В России обновили правила сдачи экзаменов на водительские права.
24. Работа в кровати незаметно здоровье человека разрушает.
25. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
26. Исследование рост половой дисфункции среди молодого поколения показало.
27. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
28. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
29. Пepвая пoдкopмка рaccaды народными средствами.
30. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
31. "Tы понимаешь, что тебя уже нет?
32. Самые полезные виды варенья.
33. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
34. Пиpoжки: зaбытый стapый мaмин рeцепт.
35. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
36. Mинтай можно без особого труда приготовить вкусно.
37. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
38. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
39. Как правильно ухаживать за фиалками.
40. С легкой и пушистой текстурой, это самый мягкий торт.
41. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
42. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
43. Формировать смородиновый куст можно как весной, так и осенью.
44. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
45. Клубника на подоконнике - аромат лета круглый год!
46. Полезная свекольная аджика на зиму.
47. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
48. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
49. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
50. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.