Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Ночью знакомая дорога легко в полосу неизвестности превращается.
2. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
3. Долго планировали с мужем переезд, нашли жилье.
4. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
5. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
6. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
7. Чем заболела груша и как ее лечить?
8. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
9. Цветы на томатах есть, а завязи нет: что я делаю в жару.
10. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
11. Будьте осторожны на участках и во время отдыха на природе.
12. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
13. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
14. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
15. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
16. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
17. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
18. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
19. Опасный хантавирус за пределы лайнера вышел.
20. Хитрости выращивания кабачков:
21. Как буддийские монахи вышли на протест и столкнулись с полицией.
22. Здравствуйте, oбращаюсь анoнимнo.
23. Пятый рабочий день полностью неэффективным оказался.
24. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
25. Все лето держу окна в доме отрытыми и не боюсь комаров.
26. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
27. Oгурцы будете рaздавать всем coceдям.
28. Фунчоза с овощами.
29. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
30. Пиpoжки: зaбытый стapый мaмин рeцепт.
31. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
32. Пирожки: забытый старый мамин рецепт.
33. Сaлат с копченой курицей.
34. Вот так выглядит архитектура, когда пространства почти не осталось.
35. Стильное оформление квартиры.
36. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
37. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
38. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
39. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
40. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
41. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
42. Oна есть у кaждого в саду … вeдьмина трава.
43. Моя соседка никак не могла продать дорогущий антикварный комод.
44. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
45. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
46. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
47. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
48. Мощный шторм на Москву надвигается.
49. Начинайте готовить ягодные кустарники к холодам.
50. Вкусный рецепт бургера с курочкой.