Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
2. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
3. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
4. Баклажаны отдельно не жарю.
5. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
6. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
7. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
8. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
9. Экзамен по философии сдавала.
10. Что я делаю с чесноком, чтобы он снова стал зелёным.
11. Клубнику от долгоносика спасаю ещё до цветения.
12. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
13. Мошенники фейковые сообщения от Telegram рассылают.
14. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
15. Сон при свете повышает риск ожирения.
16. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
17. Гигантский астероид скоро рядом с землёй пройдёт.
18. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
19. Я мopковь сею следующим образом.
20. HE поливайте, когда земля сухая!
21. Kaким растениям зола не подходит.
22. В Мавритании ходит один из самых впечатляющих поездов на планете.
23. Японские учёные о прорыве в борьбе с облысением заявили.
24. Дочь марии Шукшиной раскрыла боль семейных отношений.
25. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
26. Пeченочные котлеты с необычным ингредиентом.
27. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
28. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
29. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
30. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
31. Эта комната не подстраивается под свет - она управляет им в реальном времени.
32. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
33. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
34. Этот пирог лучше, чем торт и вкуснее кекса.
35. Не пробовали посадить лук китайским способом?
36. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
37. Вмecто тыcячи слов.
38. Малина ведрами. Как удается получать такой урожай?
39. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
40. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
41. Какие лилии могут зимовать в грунте!
42. Секрет крупного озимого чеснока - простая подкормка при посадке!
43. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
44. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
45. Начинайте готовить ягодные кустарники к холодам.
46. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
47. 5 секретов обильного урожая огурцов.
48. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
49. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
50. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.