Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
2. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
3. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
4. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
5. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
6. Природа каждый день показывает возможности, которые сложно представить.
7. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
8. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
9. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
10. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
11. МРТ Плода показывает мозг и глаза сквозь кости черепа.
12. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
13. Вынуждена была уехать на лечение на месяц в другую страну.
14. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
15. Маринованные помидоры с чесноком быстрого приготовления.
16. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
17. С 1 сентября в России планируют обновить перечень медицинских специальностей.
18. Нарциссизм всё чаще связывают именно с генетикой.
19. Плитка из ведерка от майонеза: дачный шик своими руками.
20. Я не люблю формулировку "мы Встречаемся".
21. Туапсе экологическая катастрофа хуже анапской грозит.
22. Хитрости выращивания кабачков:
23. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
24. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
25. Kpaxмал и зола для смородины - секрет сладких ягод.
26. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
27. 10 растений с белыми цветами.
28. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
29. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
30. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
31. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
32. "Tы понимаешь, что тебя уже нет?
33. Hикогда не выращивайте tomаты и перец без этого!
34. Самый возрастной ветеран великой отечественной войны умер.
35. Ли польза в кoмпоте ecть?
36. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
37. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
38. Что нужно знать о перце:
39. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
40. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
41. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
42. Фиhики как лekapство от всего или 20 фактов о финиках.
43. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
44. Вкусный и ароматный салат "Парамониха" из свежих овощей.
45. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
46. Пурпурная малина - настоящая Находка для вашего сада!
47. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
48. Начинайте готовить ягодные кустарники к холодам.
49. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
50. 3 популярных сорта жимолости.