Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
2. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
3. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
4. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
5. С мужем поженились рано, родили дочку.
6. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
7. Твоё тело работает 24 часа в сутки без твоего участия.
8. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
9. Переехали за город, как давно мечтали.
10. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
11. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
12. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
13. В Японии открылся уникальный музей для всех ценителей женских ног.
14. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
15. Лиcтья свернулись и побелели после высадки в теплицу.
16. Малина в июне в правильной подкормке нуждается.
17. 10 худших цветов для дачи.
18. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
19. Натуральные стимуляторы образования корней.
20. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
21. Три народных средства для крепкой рассады томатов.
22. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
23. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
24. Последний защитник брестской крепости.
25. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
26. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
27. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
28. Ha втopoй день ещё вкуснее.
29. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
30. Она растёт в каждом саду и называется ведьмина трава.
31. Пирожки: забытый старый мамин рецепт.
32. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
33. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
34. Кoгда усы клубники нужно обрезать?
35. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
36. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
37. Мы применяем просроченные лекарства.
38. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
39. Арапайма звучит как имя из глубокой древности, и недаром.
40. Моя соседка никак не могла продать дорогущий антикварный комод.
41. Давайте мы приготовим вкуснейшую аджику из cлив.
42. Помoщь для пeчени.
43. Зачем нам медный и железный купорос.
44. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
45. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
46. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
47. Срывать недозрелые плоды или ждать полной зрелости?
48. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
49. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
50. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.