Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. К 2050 году привычная жизнь может превратиться в научную фантастику.
2. Лоис гибсон превратила карандаш в инструмент поимки преступников.
3. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
4. Перед похолоданием целый таз зелёных помидоров сняла.
5. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
6. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
7. Долго планировали с мужем переезд, нашли жилье.
8. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
9. После уборки чеснока всегда остаются повреждённые головки.
10. Из одного кочана делаю целую сковороду капустных шницелей.
11. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
12. Муж спросил, когда я сильнее всего пугалась в жизни.
13. Насколько огромны самые большие объекты в природе и космосе.
14. В Дубае существует район, который кажется ошибкой самой реальности.
15. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
16. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
17. В России временно разрешили производство бензина и дизеля более низких экологических классов.
18. Мастурбация у птиц абсолютно естественным поведением оказалась.
19. В Японии открылся уникальный музей для всех ценителей женских ног.
20. Что я делаю с чесноком, чтобы он снова стал зелёным.
21. В России обновили правила сдачи экзаменов на водительские права.
22. Сон при свете повышает риск ожирения.
23. Опилки на грядках: бесплатное золото или яд для урожая?
24. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
25. Кейсы в CS2 и паки Fifa предложили запретить в России.
26. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
27. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
28. Kaк подкармливать перец для щедрого урожая.
29. Полёты к луне снова реальностью спустя десятилетия стали.
30. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
31. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
32. Лепешки на кефире с начинкой.
33. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
34. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
35. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
36. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
37. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
38. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
39. Полезная памятка средств для сада и огорода.
40. Ни один шашлычек у нас не обходят без этой закуски!
41. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
42. Мы не дадим слизням перезимовать!
43. Какие лилии могут зимовать в грунте!
44. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
45. Недорогое средство от пятнистостей на розах.
46. Создавать своими руками - значит делать вещи особенными.
47. Чем мульчировать малину осенью для защиты корней?
48. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
49. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
50. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.