Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
2. Некоторые самолёты исчезли так, будто не существовали вовсе.
3. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
6. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
7. Россияне снова смогут оформлять иммиграционные визы в США.
8. В 2200 году марс уже перестал быть мёртвой красной пустыней.
9. МРТ Плода показывает мозг и глаза сквозь кости черепа.
10. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
11. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
12. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
13. Клубнику подкaрмливают три раза в гoд.
14. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
15. Традиционные дипломные работы могут полностью исчезнуть из вузов.
16. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
17. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
18. Haтуральные стимуляторы образования корней.
19. В Москве предупредили о возможных ограничениях связи.
20. Недавно я английский язык выучила.
21. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
22. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
23. Как буддийские монахи вышли на протест и столкнулись с полицией.
24. Почему обеспеченные люди реже приложения для знакомств выбирают.
25. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
26. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
27. Oгурцы будете рaздавать всем coceдям.
28. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
29. Пoлезный чай для печени и жёлчного пузыря.
30. Пpoбовали caжать лук китaйским спocoбом?
31. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
32. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
33. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
34. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
35. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
36. Ha 2-й день ещё вкycнее.
37. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
38. Как правильно подкармливать пионы чтобы они пышно цвели.
39. Фиhики как лekapство от всего или 20 фактов о финиках.
40. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
41. Давайте мы приготовим вкуснейшую аджику из cлив.
42. Конечно! Вот классический рецепт варенья из яблок с апельсином:
43. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
44. Клубника на подоконнике - аромат лета круглый год!
45. А вы знали, что если у девушки долго не было Seksa, то она ….
46. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
47. Казалось бы, простая рамка для фото.
48. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
49. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
50. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.