Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
2. Бабушка маму родила уже за 30, во втором браке.
3. Удивительные товарищи всё-таки - родственнички.
4. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
5. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
6. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
7. Соседка уже спрашивает, когда будем сажать озимый чеснок.
8. Еда - это язык, который понимают все без единого слова.
9. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
10. Муж постоянно по утрам будит.
11. С 1 марта банки будут блокировать переводы при обнаружении вируса.
12. Яблок много - вроде радоваться надо.
13. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
14. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
15. Цветы на томатах есть, а завязи нет: что я делаю в жару.
16. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
17. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
18. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
19. Сезон клубники в самом разгаре!
20. Хроническая бедность способна значительно ускорять естественное старение организма.
21. Клубнику подкaрмливают три раза в гoд.
22. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
23. Июнь - решающий месяц в борьбе с монилиозом в саду.
24. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
25. Завязей на томатах будет море, а фитофтора обойдёт стороной.
26. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
27. В России обновили правила сдачи экзаменов на водительские права.
28. Всегда в путешествиях.
29. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
30. Полёты к луне снова реальностью спустя десятилетия стали.
31. В Госдуме предложили необычный способ провести время без интернета.
32. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
33. Джим Керри и теория клона: что произошло на самом деле?
34. Обычный лавровый лист заставит комнатные растения пышно цвести.
35. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
36. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
37. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
38. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
39. Магия пандоры. Аватары и актёры, которые воплотили их образы.
40. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
41. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
42. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
43. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
44. Не пробовали посадить лук китайским способом?
45. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
46. Это закуска на любом застолье на ура уходит!
47. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
48. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
49. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
50. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.