Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
2. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
3. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
4. Самые абсурдные законы мира, в которые сложно поверить.
5. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
6. У моего отца дочь от первого брака была.
7. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
8. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
11. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
12. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
13. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
14. На старости лет нашёл лайфхак для ловеласа.
15. Средства для подкормки помидоров.
16. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
17. Я любовник замужней женщины.
18. Муж часто домашние дела на потом задвигает.
19. Что я делаю с чесноком, чтобы он снова стал зелёным.
20. Клубнику от долгоносика спасаю ещё до цветения.
21. Цветы для ленивого сада: посадил и забыл на все лето.
22. У китайцев принято чавкать.
23. Полёты к луне снова реальностью спустя десятилетия стали.
24. Tpи весенних опрыскивания сада: сроки и средства.
25. Трещины на тротуарах превращаются в целые миры художника.
26. Moй споcoб подкopмки мoлодой рассады тoматов.
27. Пятьcot лет тому нaзад.
28. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
29. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
30. Фигуру дочки Маликова бурно обсуждают в Сети.
31. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
32. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
33. Маринованные помидоры с морковной ботвой.
34. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
35. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
36. Эта комната не подстраивается под свет - она управляет им в реальном времени.
37. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
38. Врачи о бесполезности популярных бадов с коллагеном заявили.
39. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
40. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
41. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
42. Розу из подаренного букета очень просто укoренить!
43. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
44. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
45. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
46. 3 популярных сорта жимолости.
47. Молодая кровь способна омолаживать тело - это доказали учёные.
48. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
49. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
50. Какие макроэлементы важны для томатов и как распознать их нехватку?