Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. К 2050 году привычная жизнь может превратиться в научную фантастику.
3. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
4. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
5. Моя свекровь в третий раз беременна.
6. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
7. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
8. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
9. МРТ Плода показывает мозг и глаза сквозь кости черепа.
10. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
11. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
12. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
13. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
14. Как правильно разделить и пересадить лилии: пошаговая инструкция.
15. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
16. Большинство крупнейших катастроф в мировой истории не были неизбежными.
17. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
18. Хроническая бедность способна значительно ускорять естественное старение организма.
19. Дочку с самого детства учила нести ответственность за свои поступки.
20. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
21. В Египте экстренно отменили все популярные морские экскурсии.
22. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
23. Некоторые археологические открытия наше прошлое слишком странным делают.
24. Цветы для ленивого сада: посадил и забыл на все лето.
25. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
26. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
27. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
28. Tpи весенних опрыскивания сада: сроки и средства.
29. Почeму чеснoк при хранении усыхает.
30. Токсичное поведение на работе может стать причиной увольнения.
31. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
32. Редкий секс с повышенным риском смертности и болезней сердца связан.
33. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
34. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
35. Сыплю под Смородину весной по две ложки.
36. Пoлезный чай для печени и жёлчного пузыря.
37. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
38. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
39. Самый возрастной ветеран великой отечественной войны умер.
40. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
41. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
42. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
43. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
44. Врачи о бесполезности популярных бадов с коллагеном заявили.
45. Это закуска на любом застолье на ура уходит!
46. Уже давно делаю по этому рецепту!
47. Зачем нам медный и железный купорос.
48. Яркий акцент для сада.
49. Создавать своими руками - значит делать вещи особенными.
50. В московских клиниках лечение на современном оборудовании нормой стало.