Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Я в небогатой семье с двумя братьями росла.
2. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
3. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
4. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
5. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
6. Дочке десять лет, смотрится даже помладше из-за маленького роста.
7. Четыре салата в банках на зиму.
8. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
9. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
10. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
11. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
12. Моего кота зовут заяц.
13. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
14. Клубнику от долгоносика спасаю ещё до цветения.
15. Как буддийские монахи вышли на протест и столкнулись с полицией.
16. Одни из первых протезов использовали ещё в эпоху древнего Рима.
17. Полёты к луне снова реальностью спустя десятилетия стали.
18. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
19. В Госдуме предложили необычный способ провести время без интернета.
20. Исследование рост половой дисфункции среди молодого поколения показало.
21. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
22. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
23. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
24. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
25. Обычный лавровый лист заставит комнатные растения пышно цвести.
26. Дочь марии Шукшиной раскрыла боль семейных отношений.
27. Фигуру дочки Маликова бурно обсуждают в Сети.
28. Лепешки на кефире с начинкой.
29. Ли польза в кoмпоте ecть?
30. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
31. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
32. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
33. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
34. Фильм, который меняет стереотипное представление об атомной энергетике.
35. Caлат "Мaкcим". Ингредиенты:
36. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
37. В России начались испытания новой вакцины против аллергии.
38. Чем обработать теплицу осенью от болезней и вредителей?
39. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
40. Самоплoдные сорта грyш.
41. Маленькая шпаргалка по томатам.
42. Острый соус, который можно замораживать.
43. Красивые садовые дорожки своими руками.
44. Чем подкармливать морковь в конце лета.
45. Как понять, что тыква созрела?
46. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
47. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
48. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
49. Почему засыхает малина в период созревания ягод?
50. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.