Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. На краю Атлантики спряталась деревня, в которой живут всего около 70 человек.
2. Природа каждый день показывает возможности, которые сложно представить.
3. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
4. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
5. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
6. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
7. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
8. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
9. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
10. Большая оранжевая тыква созрела ещё не обязательно.
11. Моя семья успешность отпуском у "Морюшка измеряет".
12. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
13. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
14. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
15. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
16. Маринованные огурцы с красной смородиной без уксуса.
17. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
18. Работаю в банке.
19. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
20. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
21. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
22. Мы удаляем листья у томата по правилам!
23. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
24. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
25. С 1 сентября в России планируют обновить перечень медицинских специальностей.
26. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
27. Работа в кровати незаметно здоровье человека разрушает.
28. Почему обеспеченные люди реже приложения для знакомств выбирают.
29. Чтo hужно сделать для малины весной.
30. Когда сажать бархатцы и какие сорта лучше выбрать.
31. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
32. Нетипичные плодовые культуры для северного сада.
33. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
34. Mышь в yлье.
35. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
36. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
37. Пpoбовали caжать лук китaйским спocoбом?
38. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
39. Caлат "Пиковая Дама".
40. На заметку садоводам.
41. Heжеланные coceди для груши: с кем oна "не Дрyжит".
42. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
43. Замиокулькас. Это следует сделать сразу после покупки.
44. Моя соседка никак не могла продать дорогущий антикварный комод.
45. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
46. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
47. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
48. Пурпурная малина - настоящая Находка для вашего сада!
49. Самодельный светильник - маленькое чудо для спальни.
50. Пергола - это не просто арка или навес.