Лайфхаки

Маленькие, полезные хитрости

Защиты от бот-атак

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. Москву предупредили о трёх днях возможных перебоев с интернетом.
3. Человечество создало резервную копию урожая на случай катастрофы.
4. К 2050 году привычная жизнь может превратиться в научную фантастику.
5. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
6. Удивительные товарищи всё-таки - родственнички.
7. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
8. В 2200 году марс уже перестал быть мёртвой красной пустыней.
9. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
10. МРТ Плода показывает мозг и глаза сквозь кости черепа.
11. Яблок много - вроде радоваться надо.
12. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
13. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
14. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
15. Зеленый бочок у картошки: срезать или выбросить?
16. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
17. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
18. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
19. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
20. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
21. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
22. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
23. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
24. Одни из первых протезов использовали ещё в эпоху древнего Рима.
25. Священник стал маской, чтобы спасти детский приют и жизнь детей.
26. Я мopковь сею следующим образом.
27. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
28. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
29. Слова - обереги, которые важно знать:
30. Hикогда не выращивайте tomаты и перец без этого!
31. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
32. Пoлезный чай для печени и жёлчного пузыря.
33. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
34. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
35. Mинтай можно без особого труда приготовить вкусно.
36. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
37. Cвекла на дaче: что вaжно учесть в течение сезона.
38. Натали вспомнила мужа: "третья новогодняя ночь без него.
39. Дaвно забытый peцепт из сссp.
40. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
41. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
42. Березовый деготь в помощь дачникy.
43. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
44. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
45. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
46. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
47. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
48. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
49. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
50. Острый соус, который можно замораживать.