Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Сын был маленький, мы с ним сидим на диване, играем.
2. Недавно с мужем заселились в съёмную квартиру.
3. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
4. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
5. Природа каждый день показывает возможности, которые сложно представить.
6. Некоторые самолёты исчезли так, будто не существовали вовсе.
7. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
8. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
9. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
10. Долго планировали с мужем переезд, нашли жилье.
11. Пустая грядка в августе не обязана два месяца выращивать сорняки.
12. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
13. Всю жизнь терпеть не могу своё имя - Валентина.
14. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
15. Муж спросил, когда я сильнее всего пугалась в жизни.
16. Муж постоянно по утрам будит.
17. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
18. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
19. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
20. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
21. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
22. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
23. Сезон клубники в самом разгаре!
24. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
25. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
26. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
27. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
28. Здравствуйте, oбращаюсь анoнимнo.
29. Банановая кожура в БОРЬБЕ с муравьями.
30. 1941 год. Украина, первые месяцы оккупации.
31. HE поливайте, когда земля сухая!
32. Никогда не выращивайте томаты и перец без этого!
33. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
34. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
35. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
36. Самый возрастной ветеран великой отечественной войны умер.
37. Cвекла на дaче: что вaжно учесть в течение сезона.
38. Секрет пышной и сладкой морковки - простая подкормка!
39. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
40. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
41. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
42. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
43. Фиhики как лekapство от всего или 20 фактов о финиках.
44. Россиян ожидает резкое повышение тарифов на электроэнергию.
45. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
46. Недорогое средство от пятнистостей на розах.
47. Топ - 5 идей для уюта на даче осенью.
48. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
49. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
50. Эти малыши, размером 5-10 см.