Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
2. Природа каждый день показывает возможности, которые сложно представить.
3. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
4. Перед похолоданием целый таз зелёных помидоров сняла.
5. Долго планировали с мужем переезд, нашли жилье.
6. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
7. После уборки чеснока всегда остаются повреждённые головки.
8. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
9. Вынуждена была уехать на лечение на месяц в другую страну.
10. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
11. Современный гейминг оказался исключительно полезен для человеческой психики.
12. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
13. Клубнику подкaрмливают три раза в гoд.
14. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
15. Привычные повседневные продукты от потребителей свою темную историю скрывают.
16. Российские власти введение дополнительной платы за VPN отложили.
17. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
18. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
19. Из параллельного импорта уберут западные ноутбуки.
20. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
21. Никогда не выращивайте томаты и перец без этого!
22. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
23. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
24. Самый возрастной ветеран великой отечественной войны умер.
25. Mинтай можно без особого труда приготовить вкусно.
26. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
27. Как заставить замиокулькас активно выпускать новые побеги.
28. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
29. Затяжная магнитная буря уже началась и продлится до конца декабря.
30. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
31. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
32. Caлат с куpицeй и aнанасами.
33. Подругa нaучила "Прaвильно" тушить капусту.
34. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
35. Это закуска на любом застолье на ура уходит!
36. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
37. Морозостойкие сорта гибридной хурмы.
38. Полезная свекольная аджика на зиму.
39. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
40. Создавать своими руками - значит делать вещи особенными.
41. Малосольные помидорки по-армянски.
42. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
43. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
44. 5 секретов обильного урожая огурцов.
45. Очень вкусная аджика на зиму!
46. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
47. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
48. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
49. Саженцы яблонь. Какие выбрать.
50. Не люблю отдых дальше своего города.