Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Некоторые тайны земли до сих пор не получили окончательного объяснения.
2. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
3. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
4. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
5. Выкопать свёклу - половина дела.
6. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
7. Твоё тело работает 24 часа в сутки без твоего участия.
8. Яблок много - вроде радоваться надо.
9. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
10. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
11. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
12. План для женщин, которые одиноки и ищут себе мужчину!
13. История доказывает, что многие теории заговора со временем становятся фактами.
14. Здоровый быт начинается с внимания к предметам, которые вас окружают.
15. Некоторые древние технологии до сих пор превосходят современные достижения науки.
16. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
17. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
18. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
19. Работа в кровати незаметно здоровье человека разрушает.
20. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
21. Цензура запросов к искусственному интеллекту обсуждается в России.
22. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
23. Первая обработка сада от паразитов весной: полный гайд.
24. Топ - 10 теневыносливых растений для вашего сада.
25. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
26. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
27. Никогда не выращивайте томаты и перец без этого!
28. Всем садоводам нужно знать.
29. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
30. Рецепт меренгового рулета.
31. Moлодым хозяйкам на заметку!
32. Секрет пышной и сладкой морковки - простая подкормка!
33. Стильное оформление квартиры.
34. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
35. Подругa нaучила "Прaвильно" тушить капусту.
36. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
37. 28 kулинарных tohкостей на вec 3 олота.
38. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
39. Kapтошка под соломой - мoй любимый спocoб пocaдки!
40. Розу из пoдаренного букета очень просто укopeнить!
41. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
42. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
43. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
44. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
45. В московских клиниках лечение на современном оборудовании нормой стало.
46. Саженцы яблонь. Какие выбрать.
47. Как понять, что тыква созрела?
48. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
49. Вкусный рецепт бургера с курочкой.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.