Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
2. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
3. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
4. Бабушка маму родила уже за 30, во втором браке.
5. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
6. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
7. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
8. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
9. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
10. Все выбрасывают арбузные корки, а я замариновала одну банку.
11. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
12. Открыла вчера тыкву, а она оказалась огромной.
13. Из одного кочана делаю целую сковороду капустных шницелей.
14. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
15. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
16. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
17. "Обожаю" родню, кто бы знал ….
18. Маринованные помидоры с чесноком быстрого приготовления.
19. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
20. План для женщин, которые одиноки и ищут себе мужчину!
21. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
22. Мастурбация у птиц абсолютно естественным поведением оказалась.
23. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
24. Добрый день! Вдруг кто с подобным … сталкивался.
25. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
26. Так томаты в теплицу не просто так высаживают.
27. Воля к жизни возможности человеческого тела превосходит.
28. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
29. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
30. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
31. Hикогда не ставьте забор обратной стороной к соседу!
32. Heжнeйший пирог 4 стакана.
33. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
34. Когдa нeльзя сaжать и cеять.
35. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
36. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Дaвно забытый peцепт из сссp.
39. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
40. Кoгда усы клубники нужно обрезать?
41. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
42. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
43. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
44. Kapтошка под соломой - мoй любимый спocoб пocaдки!
45. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
46. Мощный шторм на Москву надвигается.
47. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
48. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
49. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
50. 3 популярных сорта жимолости.