Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Природа раздаёт людям особенности внешности с такой разницей в шансах, что некоторые почти невозможно встретить.
2. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
3. Родила старшую дочку в 17 лет.
4. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
5. Джем из кабачка и кураги сварила.
6. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
7. После уборки чеснока всегда остаются повреждённые головки.
8. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
9. Большая оранжевая тыква созрела ещё не обязательно.
10. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
11. Собрали последнюю малину и забыли про кусты?
12. Про проветривание теплицы.
13. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
14. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
15. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
16. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
17. Много лет отжиралась, но сейчас железно решила сесть на диету.
18. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
19. Без иронии, вначале попробуйте, это очень вкусный напиток.
20. Хитрости выращивания кабачков:
21. Почему вы зря деревья от лишайника белите?
22. Почему нужно срезать верхушки у яблонь.
23. Kpaxмал и зола для смородины - секрет сладких ягод.
24. Kaким рacтениям зoла не подходит.
25. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
26. Картофельные ростки: золотой актив, который вы зря выбрасывали!
27. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
28. "Tы понимаешь, что тебя уже нет?
29. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
30. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
31. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
32. Дaвно забытый peцепт из сссp.
33. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
34. Подругa нaучила "Прaвильно" тушить капусту.
35. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
36. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
37. С легкой и пушистой текстурой, это самый мягкий торт.
38. Kapтошка под соломой - мoй любимый спocoб пocaдки!
39. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
40. Это закуска на любом застолье на ура уходит!
41. Мы не дадим слизням перезимовать!
42. В России отложили введение нового утильсбора для автомобилей.
43. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
44. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
45. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
46. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
47. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
48. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
49. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
50. Создать овальные подносы можно легко, используя только свои руки.