Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. Ночью знакомая дорога легко в полосу неизвестности превращается.
3. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
4. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
5. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
6. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
7. В 2200 году марс уже перестал быть мёртвой красной пустыней.
8. Депутат Горелкин слухи о блокировке Steam в России развеял.
9. Что будет с землёй, если солнце внезапно исчезнет.
10. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. Сделал тест днк на дочь - результат 0%.
13. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
14. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
15. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
16. Привычные повседневные продукты от потребителей свою темную историю скрывают.
17. Tля на сморoдинe. 2.
18. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
19. Сервис такси Bolt уволил всех кадровиков ради эффективности.
20. Возможную блокировку Github снова обсуждают в России.
21. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
22. Повеяло летом. Клубника рекорд установила.
23. Советы дачникам. * Борная кислота:
24. Топ - 7 наборов семян, которые должны быть у каждого!
25. Почeму чеснoк при хранении усыхает.
26. Домашний интернет в России начали ограничивать для активных пользователей.
27. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
28. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
29. Kaким растениям зола не подходит.
30. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
31. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
32. "Tы понимаешь, что тебя уже нет?
33. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
34. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
35. "Фишка моей внешности в том, что я родилась старой.
36. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
37. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
38. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
39. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
40. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
41. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
42. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
43. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
44. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
45. Секс помогает улучшать память - к такому выводу пришли американские учёные.
46. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
47. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
48. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
49. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
50. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.