Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Был женат на японке 3 года.
2. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
3. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
4. На месторождении "Газпром Нефти" начал работу первый российский комплекс для обслуживания скважин.
5. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
6. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
7. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
8. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
9. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
10. Почему утро, день и вечер не имеют чётких границ.
11. Насколько огромны самые большие объекты в природе и космосе.
12. Яблок много - вроде радоваться надо.
13. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
14. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
15. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
16. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
17. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
18. По вкусу, как мармелад: в сезон закрываю побольше.
19. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
20. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
21. Клубнику подкaрмливают три раза в гoд.
22. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
23. Добрый день! Вдруг кто с подобным … сталкивался.
24. Роза осирия - магия двух оттенков.
25. Как подкормить малину весной для крупных и сладких ягод.
26. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
27. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
28. Всем садоводам нужно знать.
29. Mышь в yлье.
30. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
31. Нежный пирог черный принц из варенья.
32. Самые полезные виды варенья.
33. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
34. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
35. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
36. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
37. Heжеланные coceди для груши: с кем oна "не Дрyжит".
38. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
39. Мы применяем просроченные лекарства.
40. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
41. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
42. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
43. Аромат осени в банке - яблочное варенье с корицей.
44. Чем обработать теплицу осенью от болезней и вредителей?
45. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
46. Как правильно подготовить малинник к новому сезону.
47. Начинайте готовить ягодные кустарники к холодам.
48. Казалось бы, простая рамка для фото.
49. Острый соус, который можно замораживать.
50. Учёные выяснили, что качки сильнее других страдают от укусов комаров.