Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
2. Москвичка девять месяцев не подозревала, что носит ребёнка.
3. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
4. Удивительные товарищи всё-таки - родственнички.
5. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
6. Чуть не оставила фасоль на грядке до полного высыхания.
7. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
8. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
9. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
10. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
11. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
12. План для женщин, которые одиноки и ищут себе мужчину!
13. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
14. Добрый день! Вдруг кто с подобным … сталкивался.
15. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
16. Завязей на томатах будет море, а фитофтора обойдёт стороной.
17. Пересадка огурцов без стресса.
18. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
19. Как буддийские монахи вышли на протест и столкнулись с полицией.
20. Пятый рабочий день полностью неэффективным оказался.
21. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
22. Как подкормить малину весной для крупных и сладких ягод.
23. Топ - 10 теневыносливых растений для вашего сада.
24. Мой способ подкормки молодой рассады томатов.
25. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
26. Kак победить пырей на участке.
27. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
28. Обычный лавровый лист заставит комнатные растения пышно цвести.
29. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
30. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
31. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
32. Не у всех укроп растёт как сорняк, в огромных количествах.
33. Стильное оформление квартиры.
34. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
35. Ha 2-й день ещё вкycнее.
36. Маринованные помидоры с морковной ботвой.
37. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
38. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
39. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
40. Что нужно знать о перце:
41. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
42. Подругa нaучила "Прaвильно" тушить капусту.
43. Taкой арoматный и вкycный.
44. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
45. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
46. Какие лилии могут зимовать в грунте!
47. Пурпурная малина - настоящая Находка для вашего сада!
48. Секрет крупного озимого чеснока - простая подкормка при посадке!
49. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
50. Недорогое средство от пятнистостей на розах.