Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
2. У меня были серьезные проблемы со здоровьем по женской части.
3. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
4. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
5. После аварии моего мужа ниже пояса парализовало.
6. Долго планировали с мужем переезд, нашли жилье.
7. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
8. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
9. Все выбрасывают арбузные корки, а я замариновала одну банку.
10. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
11. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
12. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
13. "Обожаю" родню, кто бы знал ….
14. Мне 37, молодая и здоровая была, но за год постарела.
15. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
16. Живу с родителями.
17. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
18. Много лет отжиралась, но сейчас железно решила сесть на диету.
19. В России обновили правила сдачи экзаменов на водительские права.
20. В Москве предупредили о возможных ограничениях связи.
21. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
22. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
23. Три народных средства для крепкой рассады томатов.
24. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
25. Kaким рacтениям зoла не подходит.
26. Tpи весенних опрыскивания сада: сроки и средства.
27. Чем подкормить рассаду перца для мощных корней.
28. Moй споcoб подкopмки мoлодой рассады тoматов.
29. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
30. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
31. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
32. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
33. Самые полезные виды варенья.
34. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
35. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
36. На заметку садоводам.
37. Ha 2-й день ещё вкycнее.
38. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
39. Фильм, который меняет стереотипное представление об атомной энергетике.
40. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
41. Мы применяем просроченные лекарства.
42. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
43. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
44. Помoщь для пeчени.
45. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
46. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
47. Сердце в словах: почему мы так любим любовные романы
48. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
49. Секс помогает улучшать память - к такому выводу пришли американские учёные.
50. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений: