Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
2. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
3. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
4. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
5. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
6. Должны были с подружкой пойти в субботу на пробежку.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
9. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
10. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
11. Популярные суши и роллы официально признали настоящим суперфудом.
12. Клубнику подкaрмливают три раза в гoд.
13. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
14. Добрый день! Вдруг кто с подобным … сталкивался.
15. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
16. Возможную блокировку Github снова обсуждают в России.
17. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
18. Опасный хантавирус за пределы лайнера вышел.
19. Я не люблю формулировку "мы Встречаемся".
20. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
21. Чтo hужно сделать для малины весной.
22. Kaк подкармливать перец для щедрого урожая.
23. Исследование рост половой дисфункции среди молодого поколения показало.
24. Горсть миндаля в день может заметно улучшить состояние кожи.
25. Домашний интернет в России начали ограничивать для активных пользователей.
26. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
27. Все лето держу окна в доме отрытыми и не боюсь комаров.
28. Японские учёные о прорыве в борьбе с облысением заявили.
29. Рецепт меренгового рулета.
30. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
31. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
32. Затяжная магнитная буря уже началась и продлится до конца декабря.
33. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
34. Простое клубничное варенье.
35. Что нужно знать о перце:
36. Этот робот не просто убирает ваш дом - он его изучает.
37. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
38. Уже давно делаю по этому рецепту!
39. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
40. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
41. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
42. Недорогое средство от пятнистостей на розах.
43. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
44. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
45. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
46. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
47. Молодая кровь способна омолаживать тело - это доказали учёные.
48. Аптечка для ваших растений.
49. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
50. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?