Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
2. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
3. Все выбрасывают арбузные корки, а я замариновала одну банку.
4. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
5. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
6. Из одного кочана делаю целую сковороду капустных шницелей.
7. Почему утро, день и вечер не имеют чётких границ.
8. Чем заболела груша и как ее лечить?
9. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
10. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
11. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
12. На старости лет нашёл лайфхак для ловеласа.
13. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
14. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
15. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
16. Сервис такси Bolt уволил всех кадровиков ради эффективности.
17. Северная Корея правила ядерного ответа страны изменила.
18. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
19. Кейсы в CS2 и паки Fifa предложили запретить в России.
20. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
21. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
22. Картофельные ростки: золотой актив, который вы зря выбрасывали!
23. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
24. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
25. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
26. Она растёт в каждом саду и называется ведьмина трава.
27. Секрет пышной и сладкой морковки - простая подкормка!
28. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
29. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
30. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
31. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
32. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
33. Мы удобряeм сливу правильно!
34. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
35. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
36. Вкусный и ароматный салат "Парамониха" из свежих овощей.
37. Полезная памятка средств для сада и огорода.
38. Лучший способ хранения чеснока.
39. Учёные в вейпах следы фекалий обнаружили.
40. Мощный шторм на Москву надвигается.
41. Нашим любимым подписчикам, дачникам и садоводам на заметку.
42. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
43. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
44. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
45. Самоплoдные сорта грyш.
46. Казалось бы, простая рамка для фото.
47. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
48. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
49. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
50. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.