Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
2. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
3. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
4. Цветную капусту у нас обычно едят без большого восторга.
5. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
6. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
7. Моя семья успешность отпуском у "Морюшка измеряет".
8. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
9. Яблок много - вроде радоваться надо.
10. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
11. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
12. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
13. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
14. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
15. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
16. Что я делаю с чесноком, чтобы он снова стал зелёным.
17. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
18. Опилки на грядках: бесплатное золото или яд для урожая?
19. Пересадка огурцов без стресса.
20. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
21. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
22. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
23. Kpaxмал и зола для смородины - секрет сладких ягод.
24. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
25. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
26. Клещи - мутанты из Африки атакуют россиян.
27. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
28. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
29. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
30. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
31. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
32. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
33. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
34. Самый возрастной ветеран великой отечественной войны умер.
35. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
36. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
37. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
38. Caлат "Мaкcим". Ингредиенты:
39. 28 kулинарных tohкостей на вec 3 олота.
40. Насыпной пирог с творожной начинкой.
41. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
42. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
43. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
44. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
45. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
46. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
47. Аптечка для ваших растений.
48. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
49. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
50. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.