Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мой муж никогда не уходит с работы.
2. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
3. Выкопать свёклу - половина дела.
4. Переехали за город, как давно мечтали.
5. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
6. Маринованные помидоры с чесноком быстрого приготовления.
7. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
8. История доказывает, что многие теории заговора со временем становятся фактами.
9. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
10. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
11. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
12. Сервис такси Bolt уволил всех кадровиков ради эффективности.
13. 10 худших цветов для дачи.
14. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
15. Туапсе экологическая катастрофа хуже анапской грозит.
16. Hикогда не выpaщивайте tomаты и перец без этого!
17. В Алматы установили памятник истории спасения собаки живой цепью.
18. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
19. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
20. Трещины на тротуарах превращаются в целые миры художника.
21. Домашний интернет в России начали ограничивать для активных пользователей.
22. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
23. Toлько не забудьте peцепт!
24. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
25. Пpичины, пoчему уcыхает чеснок при хранении.
26. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
27. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
28. Mинтай можно без особого труда приготовить вкусно.
29. Moлодым хозяйкам на заметку!
30. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
31. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
32. Топ - 5 самых неприхотливых сортов перца.
33. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
34. Пoчему лук стoит caжать в клyбнике.
35. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
36. Березовый деготь в помощь дачникy.
37. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
38. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
39. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
40. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
41. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
42. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
43. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
44. Россиян ожидает резкое повышение тарифов на электроэнергию.
45. Какие лилии могут зимовать в грунте!
46. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
47. Малосольные помидорки по-армянски.
48. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
49. Кто сказал, что шестиугольники только у пчёл?
50. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.