Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. На земле существуют места, которые выглядят как ошибка реальности.
2. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
3. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
4. Сын был маленький, мы с ним сидим на диване, играем.
5. Недавно с мужем заселились в съёмную квартиру.
6. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
7. Ночью знакомая дорога легко в полосу неизвестности превращается.
8. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
9. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
10. Перед похолоданием целый таз зелёных помидоров сняла.
11. Цветную капусту у нас обычно едят без большого восторга.
12. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
13. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
14. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
15. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
16. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
17. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
18. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
19. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
20. План для женщин, которые одиноки и ищут себе мужчину!
21. В России временно разрешили производство бензина и дизеля более низких экологических классов.
22. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
23. Здоровый быт начинается с внимания к предметам, которые вас окружают.
24. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
25. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
26. Много лет отжиралась, но сейчас железно решила сесть на диету.
27. С 1 сентября в России планируют обновить перечень медицинских специальностей.
28. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
29. В России обновили правила сдачи экзаменов на водительские права.
30. Почему вы зря деревья от лишайника белите?
31. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
32. В Алматы установили памятник истории спасения собаки живой цепью.
33. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
34. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
35. Дeвочки, это сaмый крyтой зaвтрак.
36. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
37. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
38. "Tы понимаешь, что тебя уже нет?
39. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
40. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
41. Про выращивание укропа.
42. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
43. Дaвно забытый peцепт из сссp.
44. Этот пирог лучше, чем торт и вкуснее кекса.
45. Уже давно делаю по этому рецепту!
46. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
47. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
48. Создавать уют своими руками - значит делать интерьер уникальным.
49. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
50. Учёные выяснили, что качки сильнее других страдают от укусов комаров.