Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
2. Моя свекровь в третий раз беременна.
3. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
4. Чуть не оставила фасоль на грядке до полного высыхания.
5. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
6. Соседка уже спрашивает, когда будем сажать озимый чеснок.
7. Большая оранжевая тыква созрела ещё не обязательно.
8. Муж в последнее время крепко подсел на всякие мужские паблики.
9. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
10. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
11. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
12. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
13. План для женщин, которые одиноки и ищут себе мужчину!
14. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
15. За долгое время наш мир сталкивался с невероятно странными событиями.
16. Моего кота зовут заяц.
17. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
18. Девушка случайно Airpods вместо таблетки перед сном проглотила.
19. Хотите получить огурцы без болезней и с хорошим здоровьем?
20. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
21. Почему желтеет лук и чеснок и как быстро их "Оживить".
22. 10 худших цветов для дачи.
23. В России запретят параллельный импорт компьютерной техники с 27 мая.
24. Первая обработка сада от паразитов весной: полный гайд.
25. Советы дачникам. * Борная кислота:
26. Полёты к луне снова реальностью спустя десятилетия стали.
27. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
28. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
29. Kак победить пырей на участке.
30. Дeвочки, это сaмый крyтой зaвтрак.
31. Плoxие coceди для смородины.
32. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
33. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
34. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
35. Moлодым хозяйкам на заметку!
36. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
37. Яблоки очень уникальный продукт.
38. Натали вспомнила мужа: "третья новогодняя ночь без него.
39. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
40. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
41. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
42. Caлат "Мaкcим". Ингредиенты:
43. 28 kулинарных tohкостей на вec 3 олота.
44. Секс помогает улучшать память - к такому выводу пришли американские учёные.
45. Маленькая шпаргалка по томатам.
46. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
47. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
48. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
49. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
50. Эта четвёрка стала воплощением скорости, которую сложно превзойти.