Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Один и тот же мир может выглядеть совершенно по-разному для каждого человека.
2. В России сообщили о взломах автомобилей Li Xiang.
3. На земле существуют места, которые выглядят как ошибка реальности.
4. К 2050 году привычная жизнь может превратиться в научную фантастику.
5. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
6. Удивительные товарищи всё-таки - родственнички.
7. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
8. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
9. Родила дочь в свой день рождения.
10. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
11. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
12. После уборки чеснока всегда остаются повреждённые головки.
13. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
14. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
15. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
16. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
17. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
18. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
19. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
20. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
21. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
22. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
23. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
24. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
25. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
26. Всегда в путешествиях.
27. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
28. Топ - 10 теневыносливых растений для вашего сада.
29. В Госдуме предложили необычный способ провести время без интернета.
30. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
31. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
32. Oбычный лавровый лист заставит комнатные растения пышно цвести.
33. Пpoбовали caжать лук китaйским спocoбом?
34. Блaгоприятные дни для пoceва однолетников 2026 году.
35. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
36. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
37. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
38. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
39. Не у всех укроп растёт как сорняк, в огромных количествах.
40. Фильм, который меняет стереотипное представление об атомной энергетике.
41. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
42. Этот робот не просто убирает ваш дом - он его изучает.
43. Врачи о бесполезности популярных бадов с коллагеном заявили.
44. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
45. Россиян ожидает резкое повышение тарифов на электроэнергию.
46. Работа над настенной полкой своими руками успехом завершилась.
47. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
48. Топ - 5 идей для уюта на даче осенью.
49. Острый соус, который можно замораживать.
50. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.