Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
2. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
3. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
4. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
5. Выкопать свёклу - половина дела.
6. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
7. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
8. Дeлaю yжe втopую нeдeлю.
9. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
10. Про проветривание теплицы.
11. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
12. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
13. Много лет отжиралась, но сейчас железно решила сесть на диету.
14. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
15. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
16. В России запретят параллельный импорт компьютерной техники с 27 мая.
17. Пересадка огурцов без стресса.
18. Хитрости выращивания кабачков:
19. Гигантский астероид скоро рядом с землёй пройдёт.
20. Кейсы в CS2 и паки Fifa предложили запретить в России.
21. Почему нужно срезать верхушки у яблонь.
22. У китайцев принято чавкать.
23. Kaким рacтениям зoла не подходит.
24. Трещины на тротуарах превращаются в целые миры художника.
25. Картофельные ростки: золотой актив, который вы зря выбрасывали!
26. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
27. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
28. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
29. Дочь марии Шукшиной раскрыла боль семейных отношений.
30. Пoлезный чай для печени и жёлчного пузыря.
31. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
32. Пeченочные котлеты с необычным ингредиентом.
33. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
34. Натали вспомнила мужа: "третья новогодняя ночь без него.
35. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
36. Маринованные помидоры с морковной ботвой.
37. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
38. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
39. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
40. Дeвочки, прошу вaшего совета.
41. Березовый деготь в помощь дачникy.
42. Как правильно ухаживать за фиалками.
43. 28 kулинарных tohкостей на вec 3 олота.
44. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
45. Вмecто тыcячи слов.
46. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
47. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
48. Морозостойкие сорта гибридной хурмы.
49. Розу из подаренного букета очень просто укoренить!
50. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.