Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мы с мужем квартиру в старом двухэтажном доме купили.
2. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
3. Удивительные товарищи всё-таки - родственнички.
4. Родила старшую дочку в 17 лет.
5. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
6. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
7. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
8. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
9. Твоё тело работает 24 часа в сутки без твоего участия.
10. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
11. Зеленый бочок у картошки: срезать или выбросить?
12. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
13. Официальная мировая история находится намного ближе к нам, чем кажется.
14. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
15. Сделал тест днк на дочь - результат 0%.
16. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
17. Хотите получить огурцы без болезней и с хорошим здоровьем?
18. Обычный поход в туалет потерей памяти закончился.
19. Обычные прогулки мощной поддержкой для организма оказались.
20. Из параллельного импорта уберут западные ноутбуки.
21. Цветы для ленивого сада: посадил и забыл на все лето.
22. Мой личный лайфхак относительно учёбы.
23. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
24. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
25. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
26. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
27. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
28. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
29. Рецепт меренгового рулета.
30. Ceйчас я делаю блинчики, которые тают во рту!
31. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
32. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
33. Лепешки на кефире с начинкой.
34. Cвекла на дaче: что вaжно учесть в течение сезона.
35. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
36. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
37. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
38. Как правильно ухаживать за фиалками.
39. Не пробовали посадить лук китайским способом?
40. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
41. Творожный чизкейк. Ингредиенты:
42. В России отложили введение нового утильсбора для автомобилей.
43. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
44. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
45. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
46. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
47. 3 популярных сорта жимолости.
48. Чем подкормить клубнику в августе крупного урожая.
49. Молодая кровь способна омолаживать тело - это доказали учёные.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.