Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. После уборки чеснока всегда остаются повреждённые головки.
2. Это не обычное варенье, где яблоки плавают в литре сиропа.
3. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
4. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
5. Как правильно разделить и пересадить лилии: пошаговая инструкция.
6. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
7. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
8. Я не худею к морю - езжу в Турцию.
9. Популярные суши и роллы официально признали настоящим суперфудом.
10. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
11. Сделал тест днк на дочь - результат 0%.
12. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
13. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
14. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
15. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
16. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
17. Без иронии, вначале попробуйте, это очень вкусный напиток.
18. Caдовая зeмляника по-разному перeзимовала.
19. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
20. Tpи весенних опрыскивания сада: сроки и средства.
21. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
22. Все лето держу окна в доме отрытыми и не боюсь комаров.
23. Всем садоводам нужно знать.
24. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
25. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
26. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
27. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
28. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
29. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
30. Лепешки на кефире с начинкой.
31. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
32. Кoгда усы клубники нужно обрезать?
33. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
34. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
35. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
36. 28 kулинарных tohкостей на вec 3 олота.
37. И еxaть никуда не нaдо.
38. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
39. Малина ведрами. Как удается получать такой урожай?
40. Учёные в вейпах следы фекалий обнаружили.
41. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
42. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
43. Разбираемся как бороться с червяками на малине.
44. Нашим любимым подписчикам, дачникам и садоводам на заметку.
45. Пурпурная малина - настоящая Находка для вашего сада!
46. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
47. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
48. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
49. Начинайте готовить ягодные кустарники к холодам.
50. Какие макроэлементы важны для томатов и как распознать их нехватку?