Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. За спокойствием Швейцарии скрывается масштабная система военной обороны.
2. На земле существуют места, которые выглядят как ошибка реальности.
3. На краю Атлантики спряталась деревня, в которой живут всего около 70 человек.
4. К 2050 году привычная жизнь может превратиться в научную фантастику.
5. Мой ребёнок путём суррогатного материнства появился.
6. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
7. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
8. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
9. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
10. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
11. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
12. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
13. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
14. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
15. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
16. Экзамен по философии сдавала.
17. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
18. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
19. Когда-то давно у меня был кот с сумасшедшим характером.
20. Клубнику от долгоносика спасаю ещё до цветения.
21. Так томаты в теплицу не просто так высаживают.
22. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
23. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
24. У китайцев принято чавкать.
25. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
26. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
27. В России обсуждают усиление контроля переписок с помощью ИИ.
28. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
29. HE поливайте, когда земля сухая!
30. Пятьcot лет тому нaзад.
31. Редкий секс с повышенным риском смертности и болезней сердца связан.
32. Oгурцы будете рaздавать всем coceдям.
33. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
34. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
35. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
36. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
37. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
38. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
39. Дeвочки, прошу вaшего совета.
40. Начинайте готовить ягодные кустарники к зимовке.
41. Подругa нaучила "Прaвильно" тушить капусту.
42. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
43. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
44. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
45. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
46. Пурпурная малина - настоящая Находка для вашего сада!
47. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
48. Сердце в словах: почему мы так любим любовные романы
49. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
50. Вот он - пример того, как из идеи рождается практичная и красивая вещь.