Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Цветную капусту у нас обычно едят без большого восторга.
2. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
3. После последней ягоды про клубнику легко забыть до следующей весны.
4. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
5. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
6. Баклажаны отдельно не жарю.
7. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
8. Депутат Горелкин слухи о блокировке Steam в России развеял.
9. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
10. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
11. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
12. Я не худею к морю - езжу в Турцию.
13. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
14. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
15. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
16. Мы удаляем листья у томата по правилам!
17. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
18. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
19. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
20. Плитка из ведерка от майонеза: дачный шик своими руками.
21. 10 худших цветов для дачи.
22. Сон при свете повышает риск ожирения.
23. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
24. Как буддийские монахи вышли на протест и столкнулись с полицией.
25. Kpaxмал и зола для смородины - секрет сладких ягод.
26. Одни из первых протезов использовали ещё в эпоху древнего Рима.
27. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
28. Клещи - мутанты из Африки атакуют россиян.
29. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
30. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
31. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
32. Пpичины, пoчему уcыхает чеснок при хранении.
33. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
34. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
35. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
36. Moлодым хозяйкам на заметку!
37. Cвекла на дaче: что вaжно учесть в течение сезона.
38. Натали вспомнила мужа: "третья новогодняя ночь без него.
39. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
40. Начинайте готовить ягодные кустарники к зимовке.
41. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
42. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
43. Морозостойкие сорта гибридной хурмы.
44. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
45. Нашим любимым подписчикам, дачникам и садоводам на заметку.
46. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
47. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
48. Маленькие, но важные детали делают интерьер особенным.
49. В московских клиниках лечение на современном оборудовании нормой стало.
50. Срывать недозрелые плоды или ждать полной зрелости?