Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
2. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
3. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
4. Клубника отплодоносила, но бросать её до весны нельзя.
5. Насколько огромны самые большие объекты в природе и космосе.
6. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
7. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
8. Мощная подкормка для овощей: секрет огромного количества завязей.
9. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
10. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
11. Средства для подкормки помидоров.
12. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
13. У меня сложные отношения со свекрами.
14. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
15. Почему желтеет лук и чеснок и как быстро их "Оживить".
16. В Москве предупредили о возможных ограничениях связи.
17. Хитрости выращивания кабачков:
18. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
19. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
20. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
21. Клещи - мутанты из Африки атакуют россиян.
22. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
23. Kaким растениям зола не подходит.
24. Пepвая пoдкopмка рaccaды народными средствами.
25. Cвeжий укроп всегда под рукoй.
26. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
27. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
28. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
29. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
30. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
31. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
32. Hacтойка, приготовленная по традиционному рецепту:
33. Не у всех укроп растёт как сорняк, в огромных количествах.
34. Вот так выглядит архитектура, когда пространства почти не осталось.
35. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
36. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
37. На заметку садоводам.
38. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
39. Этот пирог лучше, чем торт и вкуснее кекса.
40. Как правильно подкармливать пионы чтобы они пышно цвели.
41. Творожный чизкейк. Ингредиенты:
42. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
43. Россиян ожидает резкое повышение тарифов на электроэнергию.
44. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
45. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
46. Топ - 5 идей для уюта на даче осенью.
47. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
48. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
49. Защита от муравьев.
50. Лето без арбуза и дыни - не лето!