Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Загадочные сигналы и необычные Находки продолжают будоражить воображение.
2. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
3. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
4. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
5. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
6. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
7. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
8. Перед похолоданием целый таз зелёных помидоров сняла.
9. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
10. Долго планировали с мужем переезд, нашли жилье.
11. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
12. После уборки чеснока всегда остаются повреждённые головки.
13. В Россию прибыла первая партия бензина из индии.
14. Из одного кочана делаю целую сковороду капустных шницелей.
15. Американец с самым крошечным пенисом в мире на увеличение пошёл.
16. Холодный душ - это не просто способ проснуться быстро.
17. В Дубае существует район, который кажется ошибкой самой реальности.
18. Зеленый бочок у картошки: срезать или выбросить?
19. Что будет с землёй, если солнце внезапно исчезнет.
20. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
21. Дeлaю yжe втopую нeдeлю.
22. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
23. Серая гниль на розах - гадость мерзостная.
24. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
25. Роза осирия - магия двух оттенков.
26. Исследование рост половой дисфункции среди молодого поколения показало.
27. Уже проснулись: как не встретить гадюку на любимых грядках.
28. Всем садоводам нужно знать.
29. Дeвочки, это сaмый крyтой зaвтрак.
30. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
31. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
32. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
33. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
34. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
35. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
36. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
37. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
38. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
39. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
40. Мы применяем просроченные лекарства.
41. Многим из нас нравится замиокулькаса.
42. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
43. Лучший способ хранения чеснока.
44. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
45. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
46. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
47. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
48. Пергола - это не просто арка или навес.
49. Что делать, если листья огурцов стали "Мраморные"?
50. Учёные Ozempic без побочных эффектов создали.