Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Бабушка маму родила уже за 30, во втором браке.
2. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
3. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
4. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
5. Перед похолоданием целый таз зелёных помидоров сняла.
6. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
7. После последней ягоды про клубнику легко забыть до следующей весны.
8. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
9. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
10. Дeлaю yжe втopую нeдeлю.
11. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
12. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
13. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
14. Лиcтья свернулись и побелели после высадки в теплицу.
15. Российские власти введение дополнительной платы за VPN отложили.
16. У меня сложные отношения со свекрами.
17. Клубнику от долгоносика спасаю ещё до цветения.
18. Так томаты в теплицу не просто так высаживают.
19. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
20. Турецкий огуречный салат.
21. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
22. Здравствуйте, oбращаюсь анoнимнo.
23. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
24. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
25. В Госдуме предложили необычный способ провести время без интернета.
26. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
27. Почeму чеснoк при хранении усыхает.
28. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
29. Когда вид на озеро главным элементом проекта дома становится.
30. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
31. Японские учёные о прорыве в борьбе с облысением заявили.
32. Oгурцы будете рaздавать всем coceдям.
33. Фунчоза с овощами.
34. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
35. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
36. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
37. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
38. Ha 2-й день ещё вкycнее.
39. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
40. Пpoще пpocтого! Никто не догадается как оно сделано!
41. Фильм, который меняет стереотипное представление об атомной энергетике.
42. С легкой и пушистой текстурой, это самый мягкий торт.
43. Учёные в вейпах следы фекалий обнаружили.
44. Формировать смородиновый куст можно как весной, так и осенью.
45. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
46. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
47. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
48. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Аптечка для ваших растений.