Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Некоторые тайны земли до сих пор не получили окончательного объяснения.
2. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
3. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
4. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
5. Выкопать свёклу - половина дела.
6. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
7. Депутат Горелкин слухи о блокировке Steam в России развеял.
8. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
9. Муж в последнее время крепко подсел на всякие мужские паблики.
10. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
11. Маринованные огурцы с красной смородиной без уксуса.
12. Про проветривание теплицы.
13. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
14. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
15. Здоровый быт начинается с внимания к предметам, которые вас окружают.
16. Много лет отжиралась, но сейчас железно решила сесть на диету.
17. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
18. Плитка из ведерка от майонеза: дачный шик своими руками.
19. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
20. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
21. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
22. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
23. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
24. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
25. Исследование рост половой дисфункции среди молодого поколения показало.
26. 1941 год. Украина, первые месяцы оккупации.
27. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
28. Kaким растениям зола не подходит.
29. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
30. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
31. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
32. Ceйчас я делаю блинчики, которые тают во рту!
33. Пeченочные котлеты с необычным ингредиентом.
34. Про выращивание укропа.
35. Секрет пышной и сладкой морковки - простая подкормка!
36. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
37. Затяжная магнитная буря уже началась и продлится до конца декабря.
38. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
39. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
40. Простое клубничное варенье.
41. Кoгда усы клубники нужно обрезать?
42. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
43. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
44. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
45. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
46. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
47. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
48. Малосольные помидорки по-армянски.
49. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
50. Аптечка для ваших растений.