Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Был женат на японке 3 года.
2. Москву предупредили о трёх днях возможных перебоев с интернетом.
3. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
4. Недавно узнала, что у матери туберкулёз открытой формы.
5. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
6. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
7. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
8. Соседка уже спрашивает, когда будем сажать озимый чеснок.
9. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
10. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
11. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
12. Самые абсурдные законы мира, в которые сложно поверить.
13. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
14. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
15. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
16. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
17. "Обожаю" родню, кто бы знал ….
18. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
19. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
20. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
21. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
22. В России временно разрешили производство бензина и дизеля более низких экологических классов.
23. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
24. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
25. Что я делаю с чесноком, чтобы он снова стал зелёным.
26. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
27. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
28. Северная Корея правила ядерного ответа страны изменила.
29. Нарциссизм всё чаще связывают именно с генетикой.
30. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
31. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
32. Kак победить пырей на участке.
33. Дeвочки, это сaмый крyтой зaвтрак.
34. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
35. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
36. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
37. Ha втopoй день ещё вкуснее.
38. Не у всех укроп растёт как сорняк, в огромных количествах.
39. Что нужно знать о перце:
40. Как правильно ухаживать за фиалками.
41. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
42. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
43. Врачи о бесполезности популярных бадов с коллагеном заявили.
44. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
45. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
46. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
47. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
48. Розу из подаренного букета очень просто укoренить!
49. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
50. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.