Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Амазония кажется бескрайним зелёным океаном, но её глубины скрывают опасности.
2. В Афганистане некоторые девочки получают свободу, только став "Мальчиками".
3. В 16 лет на свадьбе дяди узнала от подпитой родственницы о том, что я приемная.
4. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
5. Недавно с мужем заселились в съёмную квартиру.
6. Провела всё своё детство в деревне, где абсолютно нечего было делать.
7. Лоис гибсон превратила карандаш в инструмент поимки преступников.
8. Природа каждый день показывает возможности, которые сложно представить.
9. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
10. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
11. Перед похолоданием целый таз зелёных помидоров сняла.
12. Чуть не оставила фасоль на грядке до полного высыхания.
13. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
14. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
15. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
16. В 11 лет я сломала нос.
17. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
18. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
19. Это не обычное варенье, где яблоки плавают в литре сиропа.
20. Депутат Горелкин слухи о блокировке Steam в России развеял.
21. Холодный душ - это не просто способ проснуться быстро.
22. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
23. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
24. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
25. Мы удаляем листья у томата по правилам!
26. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
27. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
28. Чтo hужно сделать для малины весной.
29. Проект за 200 миллионов долларов превратился в странный город - призрак.
30. Ваши вопросы: пожелтела совсем туя после зимы.
31. Советы дачникам. * Борная кислота:
32. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
33. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
34. Картофельные ростки: золотой актив, который вы зря выбрасывали!
35. Почeму чеснoк при хранении усыхает.
36. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
37. Пиpoжки: зaбытый стapый мaмин рeцепт.
38. Cвекла на дaче: что вaжно учесть в течение сезона.
39. Вот так выглядит архитектура, когда пространства почти не осталось.
40. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
41. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
42. Ни один шашлычек у нас не обходят без этой закуски!
43. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
44. Зачем нам медный и железный купорос.
45. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
46. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
47. Маленькие, но важные детали делают интерьер особенным.
48. Самодельный светильник - маленькое чудо для спальни.
49. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
50. В московских клиниках лечение на современном оборудовании нормой стало.