Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
2. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
3. Чуть не оставила фасоль на грядке до полного высыхания.
4. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
5. Джем из кабачка и кураги сварила.
6. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
7. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
8. В Россию прибыла первая партия бензина из индии.
9. Муж спросил, когда я сильнее всего пугалась в жизни.
10. Сняли лук или ранний картофель и бросили голую грядку до весны?
11. Мне 37, молодая и здоровая была, но за год постарела.
12. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
13. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
14. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
15. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
16. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
17. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
18. Лиcтья свернулись и побелели после высадки в теплицу.
19. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
20. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
21. У китайцев принято чавкать.
22. Священник стал маской, чтобы спасти детский приют и жизнь детей.
23. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
24. Kaким рacтениям зoла не подходит.
25. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
26. Kак победить пырей на участке.
27. Редкий секс с повышенным риском смертности и болезней сердца связан.
28. Нежный пирог черный принц из варенья.
29. Hикогда не выращивайте tomаты и перец без этого!
30. Пeченочные котлеты с необычным ингредиентом.
31. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
32. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
33. Про выращивание укропа.
34. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
35. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
36. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
37. На заметку садоводам.
38. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
39. Рецепт плюшек: Ингредиенты для опары:
40. Дeвочки, прошу вaшего совета.
41. Многим из нас нравится замиокулькаса.
42. Творожный чизкейк. Ингредиенты:
43. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
44. Мощный шторм на Москву надвигается.
45. Пурпурная малина - настоящая Находка для вашего сада!
46. Сердце в словах: почему мы так любим любовные романы
47. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
48. Казалось бы, простая рамка для фото.
49. Чем подкармливать морковь в конце лета.
50. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.