Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Nasa показало вселенную с невероятным уровнем детализации.
2. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
3. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
4. Из одного кочана делаю целую сковороду капустных шницелей.
5. Пустая грядка в августе не обязана два месяца выращивать сорняки.
6. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
7. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
8. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
9. Современный гейминг оказался исключительно полезен для человеческой психики.
10. Клубнику подкaрмливают три раза в гoд.
11. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
12. Июнь - решающий месяц в борьбе с монилиозом в саду.
13. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
14. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
15. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
16. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
17. Хотите получить огурцы без болезней и с хорошим здоровьем?
18. Обычные прогулки мощной поддержкой для организма оказались.
19. Плитка из ведерка от майонеза: дачный шик своими руками.
20. Опасный хантавирус за пределы лайнера вышел.
21. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
22. После того как рухнула советская власть, что сделали?
23. Ваши вопросы: пожелтела совсем туя после зимы.
24. 10 растений с белыми цветами.
25. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
26. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
27. Нежный пирог черный принц из варенья.
28. Сырники больше не делаю.
29. Топ - 5 самых неприхотливых сортов перца.
30. Пробовали сажать лук китайским способом?
31. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
32. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
33. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
34. Вкусный и ароматный салат "Парамониха" из свежих овощей.
35. Розу из пoдаренного букета очень просто укopeнить!
36. Ни один шашлычек у нас не обходят без этой закуски!
37. Лучший способ хранения чеснока.
38. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
39. Учёные в вейпах следы фекалий обнаружили.
40. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
41. Полезная свекольная аджика на зиму.
42. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
43. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
44. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
45. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
46. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
47. Защита от муравьев.
48. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
49. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
50. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.