Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мы с мужем квартиру в старом двухэтажном доме купили.
2. Один взлом может превратить умный пояс верности в настоящий замок.
3. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
4. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
5. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
6. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
7. Открыла вчера тыкву, а она оказалась огромной.
8. Из одного кочана делаю целую сковороду капустных шницелей.
9. Чем заболела груша и как ее лечить?
10. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
11. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
12. Официальная мировая история находится намного ближе к нам, чем кажется.
13. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
14. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
15. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
16. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
17. Мы удаляем листья у томата по правилам!
18. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
19. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
20. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
21. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
22. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
23. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
24. Туапсе экологическая катастрофа хуже анапской грозит.
25. Работа в кровати незаметно здоровье человека разрушает.
26. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
27. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
28. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
29. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
30. Трещины на тротуарах превращаются в целые миры художника.
31. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
32. Домашний интернет в России начали ограничивать для активных пользователей.
33. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
34. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
35. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
36. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
37. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
38. Mинтай можно без особого труда приготовить вкусно.
39. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
40. Их форма, цвет и даже расположение никогда не бывают случайными.
41. Простое клубничное варенье.
42. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
43. Мы применяем просроченные лекарства.
44. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
45. Kapтошка под соломой - мoй любимый спocoб пocaдки!
46. Формировать смородиновый куст можно как весной, так и осенью.
47. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
48. Секс помогает улучшать память - к такому выводу пришли американские учёные.
49. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
50. Не люблю отдых дальше своего города.