Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Британские музеи хранят сокровища, возвращения которых требуют другие страны.
2. Один и тот же мир может выглядеть совершенно по-разному для каждого человека.
3. Поссорились с женой.
4. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
5. Родила дочь в свой день рождения.
6. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
7. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
8. Почему утро, день и вечер не имеют чётких границ.
9. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
10. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
11. Должны были с женой и родителями лететь на свадьбу сестры.
12. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
13. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
14. Популярные суши и роллы официально признали настоящим суперфудом.
15. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
16. В Египте экстренно отменили все популярные морские экскурсии.
17. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
18. Петербургские депутаты предложили изменить школьную программу полового воспитания.
19. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
20. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
21. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
22. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
23. Гигантский астероид скоро рядом с землёй пройдёт.
24. Кейсы в CS2 и паки Fifa предложили запретить в России.
25. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
26. В России обсуждают усиление контроля переписок с помощью ИИ.
27. Топ - 7 наборов семян, которые должны быть у каждого!
28. Слова - обереги, которые важно знать:
29. Джим Керри и теория клона: что произошло на самом деле?
30. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
31. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
32. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
33. Когдa нeльзя сaжать и cеять.
34. Сaлат с копченой курицей.
35. Топ - 5 самых неприхотливых сортов перца.
36. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
37. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
38. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
39. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
40. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
41. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
42. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
43. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
44. Oна есть у кaждого в саду … вeдьмина трава.
45. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
46. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
47. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
48. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
49. Маленькие, но важные детали делают интерьер особенным.
50. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.