Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
2. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
3. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
4. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
5. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
6. Кислую сливу, от которой за столом морщатся, я берегу для джема.
7. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
8. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
9. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
10. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
11. Самые абсурдные законы мира, в которые сложно поверить.
12. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
13. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
14. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
15. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
16. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
17. Моего кота зовут заяц.
18. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
19. Лиcтья свернулись и побелели после высадки в теплицу.
20. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
21. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
22. Когда-то давно у меня был кот с сумасшедшим характером.
23. Северная Корея правила ядерного ответа страны изменила.
24. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
25. Мой личный лайфхак относительно учёбы.
26. Туапсе экологическая катастрофа хуже анапской грозит.
27. Я мopковь сею следующим образом.
28. HE поливайте, когда земля сухая!
29. Всем садоводам нужно знать.
30. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
31. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
32. Фунчоза с овощами.
33. Ceйчас я делаю блинчики, которые тают во рту!
34. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
35. Секрет пышной и сладкой морковки - простая подкормка!
36. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
37. Очищение сосудов головного мозга.
38. Пробовали сажать лук китайским способом?
39. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
40. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
41. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
42. Секрет крупного озимого чеснока - простая подкормка при посадке!
43. Секс помогает улучшать память - к такому выводу пришли американские учёные.
44. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
45. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
46. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
47. Создать овальные подносы можно легко, используя только свои руки.
48. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
49. Не люблю отдых дальше своего города.
50. Что делать с кустами смородины после сбора урожая?