Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Австралия остаётся единственным континентом, где природа пытается тебя убить.
2. В 16 лет на свадьбе дяди узнала от подпитой родственницы о том, что я приемная.
3. "Женщин Нужно Загнать в Беременность" - россиянкам старше 38 лет хотят отменить бесплатное ЭКО.
4. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
5. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
6. Удивительные товарищи всё-таки - родственнички.
7. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
8. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
9. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
10. Должны были с подружкой пойти в субботу на пробежку.
11. Моя семья успешность отпуском у "Морюшка измеряет".
12. Сняли лук или ранний картофель и бросили голую грядку до весны?
13. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
14. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
15. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
16. У моего отца дочь от первого брака была.
17. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
18. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
19. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
20. Думаю, моя мама не человек.
21. Серая гниль на розах - гадость мерзостная.
22. Маринованные огурцы с красной смородиной без уксуса.
23. Сезон клубники в самом разгаре!
24. Я любовник замужней женщины.
25. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
26. Почему желтеет лук и чеснок и как быстро их "Оживить".
27. 10 худших цветов для дачи.
28. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
29. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
30. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
31. Мой способ подкормки молодой рассады томатов.
32. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
33. Домашний интернет в России начали ограничивать для активных пользователей.
34. Hикогда не ставьте забор обратной стороной к соседу!
35. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
36. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
37. Как заставить замиокулькас активно выпускать новые побеги.
38. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
39. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
40. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
41. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
42. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
43. Врачи о бесполезности популярных бадов с коллагеном заявили.
44. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
45. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
46. Пурпурная малина - настоящая Находка для вашего сада!
47. Начинайте готовить ягодные кустарники к холодам.
48. В московских клиниках лечение на современном оборудовании нормой стало.
49. Кто сказал, что шестиугольники только у пчёл?
50. Чем подкармливать морковь в конце лета.