Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
2. После уборки чеснока всегда остаются повреждённые головки.
3. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
4. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
5. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
6. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
7. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
8. План для женщин, которые одиноки и ищут себе мужчину!
9. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
10. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
11. В Японии открылся уникальный музей для всех ценителей женских ног.
12. Малина в июне в правильной подкормке нуждается.
13. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
14. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
15. Препараты от болезней томатов!
16. Хитрости выращивания кабачков:
17. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
18. Kpaxмал и зола для смородины - секрет сладких ягод.
19. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
20. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
21. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
22. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
23. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
24. Фунчоза с овощами.
25. Рецепт меренгового рулета.
26. Ceйчас я делаю блинчики, которые тают во рту!
27. Фигуру дочки Маликова бурно обсуждают в Сети.
28. Вот так выглядит архитектура, когда пространства почти не осталось.
29. Затяжная магнитная буря уже началась и продлится до конца декабря.
30. Очищение сосудов головного мозга.
31. Что нужно знать о перце:
32. Пpoще пpocтого! Никто не догадается как оно сделано!
33. Фильм, который меняет стереотипное представление об атомной энергетике.
34. Как правильно ухаживать за фиалками.
35. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
36. Многим из нас нравится замиокулькаса.
37. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
38. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
39. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
40. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
41. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
42. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
43. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
44. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
45. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
46. Вкусный рецепт бургера с курочкой.
47. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
48. Что делать с кустами смородины после сбора урожая?
49. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
50. Банановая кожура - природное удобрение для огорода.