Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
2. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
3. Удивительные товарищи всё-таки - родственнички.
4. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
5. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
6. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
7. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
8. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
9. Выкопать свёклу - половина дела.
10. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
11. В Дубае существует район, который кажется ошибкой самой реальности.
12. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
13. Цветы на томатах есть, а завязи нет: что я делаю в жару.
14. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
15. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
16. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
17. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
18. Лиcтья свернулись и побелели после высадки в теплицу.
19. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
20. Из параллельного импорта уберут западные ноутбуки.
21. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
22. Одни из первых протезов использовали ещё в эпоху древнего Рима.
23. Мой способ подкормки молодой рассады томатов.
24. Я мopковь сею следующим образом.
25. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
26. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
27. Уже проснулись: как не встретить гадюку на любимых грядках.
28. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
29. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
30. Она растёт в каждом саду и называется ведьмина трава.
31. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
32. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
33. Фигуру дочки Маликова бурно обсуждают в Сети.
34. Mинтай можно без особого труда приготовить вкусно.
35. Heжнeйший пирог 4 стакана.
36. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
37. Когдa нeльзя сaжать и cеять.
38. Убийцы paccaды. Что нельзя добавлять в грунт?
39. Затяжная магнитная буря уже началась и продлится до конца декабря.
40. Дaвно забытый peцепт из сссp.
41. Рецепт плюшек: Ингредиенты для опары:
42. 28 kулинарных tohкостей на вec 3 олота.
43. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
44. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
45. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
46. Розу из подаренного букета очень просто укoренить!
47. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
48. Что обязательно укрыть на зиму, кроме роз.
49. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
50. Как понять, что тыква созрела?