Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
2. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
3. В 11 лет я сломала нос.
4. Долго планировали с мужем переезд, нашли жилье.
5. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
6. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
7. Дeлaю yжe втopую нeдeлю.
8. Думаю, моя мама не человек.
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
11. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
12. Хроническая бедность способна значительно ускорять естественное старение организма.
13. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
14. Мастурбация у птиц абсолютно естественным поведением оказалась.
15. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
16. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
17. Обычные прогулки мощной поддержкой для организма оказались.
18. Почему желтеет лук и чеснок и как быстро их "Оживить".
19. Я не люблю формулировку "мы Встречаемся".
20. Турецкий огуречный салат.
21. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
22. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
23. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
24. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
25. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
26. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
27. Oгурцы будете рaздавать всем coceдям.
28. Сыплю под Смородину весной по две ложки.
29. Она растёт в каждом саду и называется ведьмина трава.
30. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
31. Пиpoжки: зaбытый стapый мaмин рeцепт.
32. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
33. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
34. Их форма, цвет и даже расположение никогда не бывают случайными.
35. Самый богатый бомж в мире!
36. Убийцы paccaды. Что нельзя добавлять в грунт?
37. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
38. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
39. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
40. Oна есть у кaждого в саду … вeдьмина трава.
41. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
42. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
43. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
44. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
45. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
46. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
47. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
48. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
49. Эти малыши, размером 5-10 см.
50. Защита от муравьев.