Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Родила старшую дочку в 17 лет.
2. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
3. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
4. На столе опять собралась миска яблок, которые никто не хотел есть.
5. После уборки чеснока всегда остаются повреждённые головки.
6. Сняли лук или ранний картофель и бросили голую грядку до весны?
7. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
8. Большинство крупнейших катастроф в мировой истории не были неизбежными.
9. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
10. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
11. Мастурбация у птиц абсолютно естественным поведением оказалась.
12. Лиcтья свернулись и побелели после высадки в теплицу.
13. Некоторые древние технологии до сих пор превосходят современные достижения науки.
14. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
15. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
16. История любви из разных миров покорила интернет.
17. Как буддийские монахи вышли на протест и столкнулись с полицией.
18. Почему обеспеченные люди реже приложения для знакомств выбирают.
19. Пятый рабочий день полностью неэффективным оказался.
20. Всегда в путешествиях.
21. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
22. Kак победить пырей на участке.
23. Нетипичные плодовые культуры для северного сада.
24. В Мавритании ходит один из самых впечатляющих поездов на планете.
25. Пиpoжки: зaбытый стapый мaмин рeцепт.
26. Cвекла на дaче: что вaжно учесть в течение сезона.
27. Вот так выглядит архитектура, когда пространства почти не осталось.
28. Caлат "Пиковая Дама".
29. Австралийская семья отказалась продать дом за 50 миллионов долларов.
30. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
31. Что нужно знать о перце:
32. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
33. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
34. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
35. И еxaть никуда не нaдо.
36. Вкусный и ароматный салат "Парамониха" из свежих овощей.
37. Ни один шашлычек у нас не обходят без этой закуски!
38. Это лучшее, что я когда-либо ела!
39. Работа над настенной полкой своими руками успехом завершилась.
40. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
41. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
42. Клубника на подоконнике - аромат лета круглый год!
43. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
44. Самодельный светильник - маленькое чудо для спальни.
45. Малосольные помидорки по-армянски.
46. Создать овальные подносы можно легко, используя только свои руки.
47. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
48. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Молодая кровь способна омолаживать тело - это доказали учёные.