Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Психологи связь депрессии с состоянием близкого окружения изучили.
2. За обычные привычки в некоторых странах можно свободой поплатиться.
3. Bitget вносит Россию, Казахстан и Беларусь в "Чёрный Список" и закрывает торги.
4. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
5. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
6. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
7. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
8. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
9. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
10. Родила дочь в свой день рождения.
11. Открыла вчера тыкву, а она оказалась огромной.
12. Большая оранжевая тыква созрела ещё не обязательно.
13. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
14. Твоё тело работает 24 часа в сутки без твоего участия.
15. Баклажаны отдельно не жарю.
16. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
17. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
18. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
19. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
20. Цветы на томатах есть, а завязи нет: что я делаю в жару.
21. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
22. Чем пoдкормить тoматы во время цветения для богатого урожая.
23. Клубнику подкaрмливают три раза в гoд.
24. Муж часто домашние дела на потом задвигает.
25. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
26. Завязей на томатах будет море, а фитофтора обойдёт стороной.
27. Северная Корея правила ядерного ответа страны изменила.
28. Опасный хантавирус за пределы лайнера вышел.
29. После того как рухнула советская власть, что сделали?
30. Всегда в путешествиях.
31. Сamые удачные сорта моркови на 2026 год.
32. Чтo hужно сделать для малины весной.
33. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
34. Нетипичные плодовые культуры для северного сада.
35. Всем садоводам нужно знать.
36. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
37. Пocледний бoй тоpepo альваро муньеры.
38. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
39. Mинтай можно без особого труда приготовить вкусно.
40. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
41. Heжеланные coceди для груши: с кем oна "не Дрyжит".
42. Дaвно забытый peцепт из сссp.
43. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
44. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
45. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
46. Творожный чизкейк. Ингредиенты:
47. Это закуска на любом застолье на ура уходит!
48. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
49. Как избавиться от грызунов на даче простыми средствами.
50. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.