Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
2. Ночью знакомая дорога легко в полосу неизвестности превращается.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
5. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
6. Родила дочь в свой день рождения.
7. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
8. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
9. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
10. С мужем поженились рано, родили дочку.
11. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
12. Еда - это язык, который понимают все без единого слова.
13. Американец с самым крошечным пенисом в мире на увеличение пошёл.
14. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
15. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
16. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
17. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
18. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
19. Мастурбация у птиц абсолютно естественным поведением оказалась.
20. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
21. Сервис такси Bolt уволил всех кадровиков ради эффективности.
22. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
23. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
24. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
25. Топ - 10 теневыносливых растений для вашего сада.
26. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
27. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
28. В Мавритании ходит один из самых впечатляющих поездов на планете.
29. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
30. Пeченочные котлеты с необычным ингредиентом.
31. Toматы для ленивых.
32. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
33. Фигуру дочки Маликова бурно обсуждают в Сети.
34. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
35. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
36. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
37. Давайте мы приготовим вкуснейшую аджику из cлив.
38. Творожный чизкейк. Ингредиенты:
39. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
40. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
41. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
42. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
43. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
44. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
45. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
46. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
47. Эти малыши, размером 5-10 см.
48. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
49. Как спасти огурцы от мучнистой росы.
50. Почему засыхает малина в период созревания ягод?