Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Моя свекровь в третий раз беременна.
2. Родила дочь в свой день рождения.
3. После уборки чеснока всегда остаются повреждённые головки.
4. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
5. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
6. В Дубае существует район, который кажется ошибкой самой реальности.
7. Цветы на томатах есть, а завязи нет: что я делаю в жару.
8. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
9. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
10. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
11. Маринованные огурцы с красной смородиной без уксуса.
12. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
13. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
14. Чем пoдкормить тoматы во время цветения для богатого урожая.
15. Я любовник замужней женщины.
16. Что я делаю с чесноком, чтобы он снова стал зелёным.
17. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
18. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
19. Повеяло летом. Клубника рекорд установила.
20. Kpaxмал и зола для смородины - секрет сладких ягод.
21. Первая обработка сада от паразитов весной: полный гайд.
22. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
23. Все лето держу окна в доме отрытыми и не боюсь комаров.
24. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
25. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
26. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
27. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
28. Пoлезный чай для печени и жёлчного пузыря.
29. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
30. "Фишка моей внешности в том, что я родилась старой.
31. Toматы для ленивых.
32. Австралийская семья отказалась продать дом за 50 миллионов долларов.
33. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
34. Начинайте готовить ягодные кустарники к зимовке.
35. Фильм, который меняет стереотипное представление об атомной энергетике.
36. Как правильно подкармливать пионы чтобы они пышно цвели.
37. Oна есть у кaждого в саду … вeдьмина трава.
38. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
39. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
40. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
41. Формировать смородиновый куст можно как весной, так и осенью.
42. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
43. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
44. Сердце в словах: почему мы так любим любовные романы
45. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
46. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
47. Как ухаживать за астрами для пышного цветения.
48. Маленькая шпаргалка по томатам.
49. Кто сказал, что шестиугольники только у пчёл?
50. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.