Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
2. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
5. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
6. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
7. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
8. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
9. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
10. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
11. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
12. Цветы на томатах есть, а завязи нет: что я делаю в жару.
13. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
14. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
15. Мощная подкормка для овощей: секрет огромного количества завязей.
16. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
17. В Египте экстренно отменили все популярные морские экскурсии.
18. Роза осирия - магия двух оттенков.
19. Клубнику от долгоносика спасаю ещё до цветения.
20. Завязей на томатах будет море, а фитофтора обойдёт стороной.
21. Плитка из ведерка от майонеза: дачный шик своими руками.
22. Совет по рассаде томатов.
23. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
24. Ваши вопросы: пожелтела совсем туя после зимы.
25. Я мopковь сею следующим образом.
26. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
27. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
28. Горсть миндаля в день может заметно улучшить состояние кожи.
29. Почeму чеснoк при хранении усыхает.
30. Когда вид на озеро главным элементом проекта дома становится.
31. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
32. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
33. Про выращивание укропа.
34. Яблоки очень уникальный продукт.
35. Австралийская семья отказалась продать дом за 50 миллионов долларов.
36. Затяжная магнитная буря уже началась и продлится до конца декабря.
37. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
38. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
39. Дeвочки, прошу вaшего совета.
40. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
41. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
42. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
43. Арапайма звучит как имя из глубокой древности, и недаром.
44. Вкусный и ароматный салат "Парамониха" из свежих овощей.
45. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
46. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
47. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. Создать овальные подносы можно легко, используя только свои руки.
50. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.