Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Один и тот же мир может выглядеть совершенно по-разному для каждого человека.
2. Психологи связь депрессии с состоянием близкого окружения изучили.
3. Москву предупредили о трёх днях возможных перебоев с интернетом.
4. Общественные пространства окончательно шедевры непреднамеренного уличного идиотизма захватили.
5. Природа каждый день показывает возможности, которые сложно представить.
6. Nasa показало вселенную с невероятным уровнем детализации.
7. Родила дочь в свой день рождения.
8. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
9. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
10. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
11. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
12. Найти хорошую работу в России становится практически невозможно для большинства граждан.
13. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
14. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
15. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
16. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
17. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
18. В Японии открылся уникальный музей для всех ценителей женских ног.
19. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
20. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
21. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
22. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
23. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
24. Препараты от болезней томатов!
25. Пятый рабочий день полностью неэффективным оказался.
26. Чтo hужно сделать для малины весной.
27. Как подкормить малину весной для крупных и сладких ягод.
28. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
29. 10 растений с белыми цветами.
30. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
31. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
32. Дeвочки, это сaмый крyтой зaвтрак.
33. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
34. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
35. Сырники больше не делаю.
36. Вот так выглядит архитектура, когда пространства почти не осталось.
37. Маринованные помидоры с морковной ботвой.
38. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
39. Рецепт плюшек: Ингредиенты для опары:
40. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
41. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
42. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
43. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
44. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
45. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
46. Конечно! Вот классический рецепт варенья из яблок с апельсином:
47. В России начались испытания новой вакцины против аллергии.
48. Топ - 5 идей для уюта на даче осенью.
49. Малосольные помидорки по-армянски.
50. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.