Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
2. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
3. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
4. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
5. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
6. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
7. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
8. Цветную капусту у нас обычно едят без большого восторга.
9. Выкопать свёклу - половина дела.
10. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
11. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
12. Самые абсурдные законы мира, в которые сложно поверить.
13. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
14. Яблок много - вроде радоваться надо.
15. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
16. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
17. Уже нет сил постоянно ругаться со свекровью.
18. Думаю, моя мама не человек.
19. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
20. Официальная мировая история помнит только выдающихся мужчин - победителей.
21. Мощная подкормка для овощей: секрет огромного количества завязей.
22. Привычные повседневные продукты от потребителей свою темную историю скрывают.
23. Добрый день! Вдруг кто с подобным … сталкивался.
24. Tля на сморoдинe. 2.
25. Сервис такси Bolt уволил всех кадровиков ради эффективности.
26. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
27. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
28. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
29. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
30. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
31. Слова - обереги, которые важно знать:
32. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
33. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
34. Фунчоза с овощами.
35. Hикогда не ставьте забор обратной стороной к соседу!
36. "Фишка моей внешности в том, что я родилась старой.
37. Самый возрастной ветеран великой отечественной войны умер.
38. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
39. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
40. Ha 2-й день ещё вкycнее.
41. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
42. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
43. Мы не дадим слизням перезимовать!
44. Пурпурная малина - настоящая Находка для вашего сада!
45. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
46. Яркий акцент для сада.
47. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
48. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
49. Не люблю отдых дальше своего города.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.