Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. После аварии моего мужа ниже пояса парализовало.
2. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
3. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
4. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
5. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
6. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
7. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
8. Выкопать свёклу - половина дела.
9. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
10. Это не обычное варенье, где яблоки плавают в литре сиропа.
11. Муж постоянно по утрам будит.
12. Зеленый бочок у картошки: срезать или выбросить?
13. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
14. Мне 37, молодая и здоровая была, но за год постарела.
15. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
16. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
17. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
18. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
19. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
20. В России временно разрешили производство бензина и дизеля более низких экологических классов.
21. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
22. В Японии открылся уникальный музей для всех ценителей женских ног.
23. Российские медики о резком росте опасных кишечных инфекций предупредили.
24. Мошенники фейковые сообщения от Telegram рассылают.
25. После того как рухнула советская власть, что сделали?
26. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
27. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
28. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
29. Hикогда не ставьте забор обратной стороной к соседу!
30. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
31. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
32. Вот так выглядит архитектура, когда пространства почти не осталось.
33. Эта комната не подстраивается под свет - она управляет им в реальном времени.
34. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
35. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
36. Дeвочки, прошу вaшего совета.
37. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
38. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
39. Учёные в вейпах следы фекалий обнаружили.
40. Конечно! Вот классический рецепт варенья из яблок с апельсином:
41. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
42. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
43. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
44. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
45. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
46. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
47. Очень вкусная аджика на зиму!
48. Что делать с кустами смородины после сбора урожая?
49. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
50. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?