Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
2. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
3. Россияне снова смогут оформлять иммиграционные визы в США.
4. В Россию прибыла первая партия бензина из индии.
5. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
6. Клубника отплодоносила, но бросать её до весны нельзя.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Из мягких груш красивого варенья дольками не получится.
9. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
10. "Обожаю" родню, кто бы знал ….
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. История доказывает, что многие теории заговора со временем становятся фактами.
13. Петербургские депутаты предложили изменить школьную программу полового воспитания.
14. Банановая кожура в БОРЬБЕ с муравьями.
15. После того как рухнула советская власть, что сделали?
16. Пятый рабочий день полностью неэффективным оказался.
17. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
18. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
19. Чтo hужно сделать для малины весной.
20. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
21. Всем садоводам нужно знать.
22. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
23. Сekрет пышной и сладкой морковки - простая подкормка!
24. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
25. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
26. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
27. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
28. Очищение сосудов головного мозга.
29. Фильм, который меняет стереотипное представление об атомной энергетике.
30. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
31. Мы применяем просроченные лекарства.
32. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
33. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
34. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
35. Лучший способ хранения чеснока.
36. Учёные в вейпах следы фекалий обнаружили.
37. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
38. Формировать смородиновый куст можно как весной, так и осенью.
39. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
40. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
41. Топ - 5 идей для уюта на даче осенью.
42. Маленькая шпаргалка по томатам.
43. Что обязательно укрыть на зиму, кроме роз.
44. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
45. Срывать недозрелые плоды или ждать полной зрелости?
46. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
47. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
48. Чем подкормить клубнику в августе крупного урожая.
49. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
50. Как спасти огурцы от мучнистой росы.