Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
2. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
3. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
4. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
5. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
6. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
7. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
8. Кислую сливу, от которой за столом морщатся, я берегу для джема.
9. Цветную капусту у нас обычно едят без большого восторга.
10. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
11. В Россию прибыла первая партия бензина из индии.
12. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
13. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
14. "Обожаю" родню, кто бы знал ….
15. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
16. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
17. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
18. Привычные повседневные продукты от потребителей свою темную историю скрывают.
19. Как-то довелось быть свидетелем диалога двух дачниц.
20. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
21. Некоторые древние технологии до сих пор превосходят современные достижения науки.
22. Здравствуйте, участники сообщества!
23. Препараты от болезней томатов!
24. Мой личный лайфхак относительно учёбы.
25. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
26. В Алматы установили памятник истории спасения собаки живой цепью.
27. Последний защитник брестской крепости.
28. Легенды мирового рока украсили фасады домов в елизаветино.
29. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
30. Heжнeйший пирог 4 стакана.
31. Cвекла на дaче: что вaжно учесть в течение сезона.
32. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
33. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
34. Кoгда усы клубники нужно обрезать?
35. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
36. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
37. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
38. Вмecто тыcячи слов.
39. Творожный чизкейк. Ингредиенты:
40. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
41. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
42. Полезная свекольная аджика на зиму.
43. Секс помогает улучшать память - к такому выводу пришли американские учёные.
44. Казалось бы, простая рамка для фото.
45. Острый соус, который можно замораживать.
46. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
47. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
48. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
49. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
50. 3 популярных сорта жимолости.