Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
2. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
3. Бабушка маму родила уже за 30, во втором браке.
4. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
5. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
6. Цветную капусту у нас обычно едят без большого восторга.
7. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
8. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
9. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
10. Твоё тело работает 24 часа в сутки без твоего участия.
11. Яблок много - вроде радоваться надо.
12. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
13. Муж в последнее время крепко подсел на всякие мужские паблики.
14. Вынуждена была уехать на лечение на месяц в другую страну.
15. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
16. Работаю в банке.
17. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
18. Чем пoдкормить тoматы во время цветения для богатого урожая.
19. Российские власти введение дополнительной платы за VPN отложили.
20. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
21. Нарциссизм всё чаще связывают именно с генетикой.
22. Опасный хантавирус за пределы лайнера вышел.
23. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
24. Священник стал маской, чтобы спасти детский приют и жизнь детей.
25. Советы дачникам. * Борная кислота:
26. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
27. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
28. Легенды мирового рока украсили фасады домов в елизаветино.
29. Никогда не выращивайте томаты и перец без этого!
30. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
31. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
32. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
33. Лепешки на кефире с начинкой.
34. Cвекла на дaче: что вaжно учесть в течение сезона.
35. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
36. Когдa нeльзя сaжать и cеять.
37. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
38. На заметку садоводам.
39. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
40. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
41. Замиокулькас. Это следует сделать сразу после покупки.
42. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
43. Творожный чизкейк. Ингредиенты:
44. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
45. Вкусный и ароматный салат "Парамониха" из свежих овощей.
46. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
47. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
48. Работа над настенной полкой своими руками успехом завершилась.
49. Как избавиться от грызунов на даче простыми средствами.
50. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.