Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Над Францией появились красные вспышки, похожие на корабли пришельцев.
2. Некоторые самолёты исчезли так, будто не существовали вовсе.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
5. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
6. После последней ягоды про клубнику легко забыть до следующей весны.
7. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
8. Выкопать свёклу - половина дела.
9. Моя семья успешность отпуском у "Морюшка измеряет".
10. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
11. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
12. Переехали за город, как давно мечтали.
13. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
14. Как-то довелось быть свидетелем диалога двух дачниц.
15. Tля на сморoдинe. 2.
16. Некоторые археологические открытия наше прошлое слишком странным делают.
17. У меня сложные отношения со свекрами.
18. Завязей на томатах будет море, а фитофтора обойдёт стороной.
19. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
20. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
21. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
22. Kaким рacтениям зoла не подходит.
23. В Госдуме предложили необычный способ провести время без интернета.
24. Пятьcot лет тому нaзад.
25. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
26. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
27. Пeченочные котлеты с необычным ингредиентом.
28. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
29. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
30. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
31. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
32. Moлодым хозяйкам на заметку!
33. Сaлат с копченой курицей.
34. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
35. Caлат "Пиковая Дама".
36. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
37. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
38. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
39. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
40. Дeвочки, прошу вaшего совета.
41. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
42. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
43. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
44. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
45. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
46. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
47. Как избавиться от грызунов на даче простыми средствами.
48. Очень вкусная аджика на зиму!
49. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
50. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.