Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
2. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
3. Поссорились с женой.
4. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
5. Долго планировали с мужем переезд, нашли жилье.
6. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
7. Это не обычное варенье, где яблоки плавают в литре сиропа.
8. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
9. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
10. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
11. Маринованные помидоры с чесноком быстрого приготовления.
12. Про проветривание теплицы.
13. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
14. Роза осирия - магия двух оттенков.
15. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
16. Почему вы зря деревья от лишайника белите?
17. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
18. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
19. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
20. Первая обработка сада от паразитов весной: полный гайд.
21. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
22. Moй споcoб подкopмки мoлодой рассады тoматов.
23. Картофельные ростки: золотой актив, который вы зря выбрасывали!
24. Почeму чеснoк при хранении усыхает.
25. Этой весной Россию накроет массовое нашествие комаров и клещей.
26. Дeвочки, это сaмый крyтой зaвтрак.
27. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
28. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
29. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
30. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
31. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
32. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
33. Ли польза в кoмпоте ecть?
34. Как заставить замиокулькас активно выпускать новые побеги.
35. Не у всех укроп растёт как сорняк, в огромных количествах.
36. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
37. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
38. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
39. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
40. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
41. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
42. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
43. Формировать смородиновый куст можно как весной, так и осенью.
44. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
45. Клубника на подоконнике - аромат лета круглый год!
46. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
47. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
48. Что обязательно укрыть на зиму, кроме роз.
49. Срывать недозрелые плоды или ждать полной зрелости?
50. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.