Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. За обычные привычки в некоторых странах можно свободой поплатиться.
2. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
3. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
4. Природа каждый день показывает возможности, которые сложно представить.
5. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
6. Удивительные товарищи всё-таки - родственнички.
7. Чуть не оставила фасоль на грядке до полного высыхания.
8. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
9. В 11 лет я сломала нос.
10. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
11. Дочке десять лет, смотрится даже помладше из-за маленького роста.
12. Почему утро, день и вечер не имеют чётких границ.
13. Муж спросил, когда я сильнее всего пугалась в жизни.
14. Твоё тело работает 24 часа в сутки без твоего участия.
15. Яблок много - вроде радоваться надо.
16. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
17. "Обожаю" родню, кто бы знал ….
18. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
19. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
20. Официальная мировая история помнит только выдающихся мужчин - победителей.
21. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
22. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
23. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
24. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
25. Сон при свете повышает риск ожирения.
26. 10 растений с белыми цветами.
27. Три народных средства для крепкой рассады томатов.
28. Tpи весенних опрыскивания сада: сроки и средства.
29. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
30. Последний защитник брестской крепости.
31. Картофельные ростки: золотой актив, который вы зря выбрасывали!
32. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
33. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
34. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
35. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
36. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
37. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
38. Кoгда усы клубники нужно обрезать?
39. Очищение сосудов головного мозга.
40. Творожный чизкейк. Ингредиенты:
41. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
42. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
43. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
44. Секрет крупного озимого чеснока - простая подкормка при посадке!
45. Казалось бы, простая рамка для фото.
46. Топ - 5 идей для уюта на даче осенью.
47. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
48. Создать овальные подносы можно легко, используя только свои руки.
49. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
50. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.