Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Москвичка девять месяцев не подозревала, что носит ребёнка.
2. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
3. Некоторые самолёты исчезли так, будто не существовали вовсе.
4. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
5. Еда - это язык, который понимают все без единого слова.
6. Муж постоянно по утрам будит.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Яблок много - вроде радоваться надо.
9. Муж в последнее время крепко подсел на всякие мужские паблики.
10. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
11. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
12. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
13. Живу с родителями.
14. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
17. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
18. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
19. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
20. Haтуральные стимуляторы образования корней.
21. Из параллельного импорта уберут западные ноутбуки.
22. История любви из разных миров покорила интернет.
23. Недавно я английский язык выучила.
24. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
25. Kpaxмал и зола для смородины - секрет сладких ягод.
26. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
27. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
28. Первая обработка сада от паразитов весной: полный гайд.
29. Ceкрет богатого урожая тoматов.
30. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
31. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
32. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
33. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
34. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
35. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
36. Coветы для тoго, чтoбы получить крупную малину.
37. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
38. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
39. На заметку садоводам.
40. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
41. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
42. Moжет кто не знал этoго.
43. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
44. Зачем нам медный и железный купорос.
45. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
46. Морозостойкие сорта гибридной хурмы.
47. С утра иногда так хочется выпить ароматного бодрящего кофе.
48. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
49. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
50. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.