Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. У каждого из этих продуктов есть своя полезная особенность.
2. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
3. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
4. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
5. Кислую сливу, от которой за столом морщатся, я берегу для джема.
6. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
7. Перед похолоданием целый таз зелёных помидоров сняла.
8. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
9. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
10. Зеленый бочок у картошки: срезать или выбросить?
11. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
12. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
13. Про проветривание теплицы.
14. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
15. Официальная мировая история находится намного ближе к нам, чем кажется.
16. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
17. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
18. Haтуральные стимуляторы образования корней.
19. Как буддийские монахи вышли на протест и столкнулись с полицией.
20. Банановая кожура в БОРЬБЕ с муравьями.
21. После того как рухнула советская власть, что сделали?
22. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
23. Последний защитник брестской крепости.
24. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
25. Легенды мирового рока украсили фасады домов в елизаветино.
26. Никогда не выращивайте томаты и перец без этого!
27. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
28. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
29. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
30. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
31. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
32. Oбычный лавровый лист заставит комнатные растения пышно цвести.
33. Сыплю под Смородину весной по две ложки.
34. Toматы для ленивых.
35. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
36. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
37. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
38. Hacтойка, приготовленная по традиционному рецепту:
39. Натали вспомнила мужа: "третья новогодняя ночь без него.
40. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
41. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
42. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
43. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
44. Мы применяем просроченные лекарства.
45. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
46. И еxaть никуда не нaдо.
47. Работа над настенной полкой своими руками успехом завершилась.
48. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
49. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
50. Недорогое средство от пятнистостей на розах.