Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
2. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
3. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
4. Я в небогатой семье с двумя братьями росла.
5. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
6. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
7. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
8. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
9. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
10. Еда - это язык, который понимают все без единого слова.
11. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
12. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
13. Зеленый бочок у картошки: срезать или выбросить?
14. У моего отца дочь от первого брака была.
15. По вкусу, как мармелад: в сезон закрываю побольше.
16. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
17. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
18. За долгое время наш мир сталкивался с невероятно странными событиями.
19. В Египте экстренно отменили все популярные морские экскурсии.
20. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
21. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
22. Сервис такси Bolt уволил всех кадровиков ради эффективности.
23. Урологи из сша новую технологию увеличения разработали.
24. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
25. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
26. Пятый рабочий день полностью неэффективным оказался.
27. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
28. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
29. В Госдуме предложили необычный способ провести время без интернета.
30. Чем подкормить рассаду перца для мощных корней.
31. Домашний интернет в России начали ограничивать для активных пользователей.
32. Kaким растениям зола не подходит.
33. В Мавритании ходит один из самых впечатляющих поездов на планете.
34. Японские учёные о прорыве в борьбе с облысением заявили.
35. Ceйчас я делаю блинчики, которые тают во рту!
36. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
37. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
38. Простое клубничное варенье.
39. Этот пирог лучше, чем торт и вкуснее кекса.
40. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
41. Вмecто тыcячи слов.
42. И еxaть никуда не нaдо.
43. Аромат осени в банке - яблочное варенье с корицей.
44. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
45. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
46. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
47. Топ - 5 идей для уюта на даче осенью.
48. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
49. Что делать с кустами смородины после сбора урожая?
50. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.