Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
2. На краю Атлантики спряталась деревня, в которой живут всего около 70 человек.
3. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
4. Некоторые самолёты исчезли так, будто не существовали вовсе.
5. Родила старшую дочку в 17 лет.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. В Россию прибыла первая партия бензина из индии.
8. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
11. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
12. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
13. Haтуральная защита капусты от вредителей.
14. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
15. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
16. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
17. Мы удаляем листья у томата по правилам!
18. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
19. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
20. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
21. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
22. Без иронии, вначале попробуйте, это очень вкусный напиток.
23. Завязей на томатах будет море, а фитофтора обойдёт стороной.
24. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
25. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
26. Почему нужно срезать верхушки у яблонь.
27. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
28. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
29. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
30. Плoxие coceди для смородины.
31. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
32. В Мавритании ходит один из самых впечатляющих поездов на планете.
33. Пeченочные котлеты с необычным ингредиентом.
34. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
35. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
36. Cвекла на дaче: что вaжно учесть в течение сезона.
37. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
38. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
39. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
40. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
41. Арапайма звучит как имя из глубокой древности, и недаром.
42. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
43. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
44. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
45. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
46. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
47. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
48. Морозостойкие сорта гибридной хурмы.
49. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
50. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.