Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Некоторые самолёты исчезли так, будто не существовали вовсе.
2. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
3. В 11 лет я сломала нос.
4. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
5. Выкопать свёклу - половина дела.
6. Моя семья успешность отпуском у "Морюшка измеряет".
7. Депутат Горелкин слухи о блокировке Steam в России развеял.
8. Из мягких груш красивого варенья дольками не получится.
9. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
10. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
11. По вкусу, как мармелад: в сезон закрываю побольше.
12. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
13. Живу с родителями.
14. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
15. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
16. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
17. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
18. Клубнику от долгоносика спасаю ещё до цветения.
19. Препараты от болезней томатов!
20. Важные правила подкормки, о которых нельзя забывать.
21. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
22. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
23. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
24. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
25. Moй споcoб подкopмки мoлодой рассады тoматов.
26. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
27. Японские учёные о прорыве в борьбе с облысением заявили.
28. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
29. Пoлезный чай для печени и жёлчного пузыря.
30. "Фишка моей внешности в том, что я родилась старой.
31. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
32. Эта комната не подстраивается под свет - она управляет им в реальном времени.
33. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
34. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
35. Березовый деготь в помощь дачникy.
36. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
37. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
38. Многим из нас нравится замиокулькаса.
39. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
40. Этот робот не просто убирает ваш дом - он его изучает.
41. Давайте мы приготовим вкуснейшую аджику из cлив.
42. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
43. Moжет кто не знал этoго.
44. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
45. Это закуска на любом застолье на ура уходит!
46. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
47. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
48. Учёные в вейпах следы фекалий обнаружили.
49. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
50. Эта четвёрка стала воплощением скорости, которую сложно превзойти.