Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
2. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
3. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
4. В 2200 году марс уже перестал быть мёртвой красной пустыней.
5. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
6. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
7. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
8. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
9. Серая гниль на розах - гадость мерзостная.
10. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
11. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
12. Официальная мировая история помнит только выдающихся мужчин - победителей.
13. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
14. Дочку с самого детства учила нести ответственность за свои поступки.
15. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
16. В России временно разрешили производство бензина и дизеля более низких экологических классов.
17. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
18. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
19. Как-то довелось быть свидетелем диалога двух дачниц.
20. Что я делаю с чесноком, чтобы он снова стал зелёным.
21. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
22. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
23. Совет по рассаде томатов.
24. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
25. Kaким рacтениям зoла не подходит.
26. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
27. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
28. Домашний интернет в России начали ограничивать для активных пользователей.
29. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
30. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
31. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
32. Про выращивание укропа.
33. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
34. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
35. Их форма, цвет и даже расположение никогда не бывают случайными.
36. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
37. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
38. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
39. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
40. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
41. Это лучшее, что я когда-либо ела!
42. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
43. Морозостойкие сорта гибридной хурмы.
44. Топ - 5 идей для уюта на даче осенью.
45. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
46. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
47. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
48. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
49. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
50. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.