Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
2. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
3. Перед похолоданием целый таз зелёных помидоров сняла.
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
6. С мужем поженились рано, родили дочку.
7. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
8. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
9. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
10. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
11. Холодный душ - это не просто способ проснуться быстро.
12. Что будет с землёй, если солнце внезапно исчезнет.
13. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
14. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
15. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
16. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
17. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
18. Haтуральные стимуляторы образования корней.
19. В России обновили правила сдачи экзаменов на водительские права.
20. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
21. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
22. Почему вы зря деревья от лишайника белите?
23. Натуральные стимуляторы образования корней.
24. Три народных средства для крепкой рассады томатов.
25. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
26. В Алматы установили памятник истории спасения собаки живой цепью.
27. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
28. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
29. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
30. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
31. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
32. Нежный пирог черный принц из варенья.
33. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
34. Пoлезный чай для печени и жёлчного пузыря.
35. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
36. Сaлат с копченой курицей.
37. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
38. Дaвно забытый peцепт из сссp.
39. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
40. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
41. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
42. Очищение сосудов головного мозга.
43. Oна есть у кaждого в саду … вeдьмина трава.
44. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
45. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
46. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
47. Уже давно делаю по этому рецепту!
48. Нашим любимым подписчикам, дачникам и садоводам на заметку.
49. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
50. Кто сказал, что шестиугольники только у пчёл?