Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
3. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
4. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
5. Nasa показало вселенную с невероятным уровнем детализации.
6. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
7. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
8. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
9. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
10. Депутат Горелкин слухи о блокировке Steam в России развеял.
11. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
12. Собрали последнюю малину и забыли про кусты?
13. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
14. По вкусу, как мармелад: в сезон закрываю побольше.
15. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
16. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
17. Будьте осторожны на участках и во время отдыха на природе.
18. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
19. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
20. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
21. В Японии открылся уникальный музей для всех ценителей женских ног.
22. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
23. В Египте экстренно отменили все популярные морские экскурсии.
24. Сервис такси Bolt уволил всех кадровиков ради эффективности.
25. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
26. Моя мама очень долго болью в коленях мучилась.
27. Хитрости выращивания кабачков:
28. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
29. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
30. Советы дачникам. * Борная кислота:
31. Мой способ подкормки молодой рассады томатов.
32. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
33. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
34. Этой весной Россию накроет массовое нашествие комаров и клещей.
35. Джим Керри и теория клона: что произошло на самом деле?
36. Ceкрет богатого урожая тoматов.
37. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
38. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
39. Пpичины, пoчему уcыхает чеснок при хранении.
40. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
41. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
42. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
43. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
44. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
45. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
46. Творожный чизкейк. Ингредиенты:
47. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
48. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
49. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
50. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.