Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
2. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
3. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
4. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
5. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
6. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
7. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
8. Как правильно разделить и пересадить лилии: пошаговая инструкция.
9. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
10. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
11. Формировка огурцов. 1. начинаю с нижней части.
12. Мощная подкормка для овощей: секрет огромного количества завязей.
13. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
14. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
15. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
16. В Японии открылся уникальный музей для всех ценителей женских ног.
17. Сервис такси Bolt уволил всех кадровиков ради эффективности.
18. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
19. Подорожник на участке: пора проверять почву!
20. Я не люблю формулировку "мы Встречаемся".
21. В Москве предупредили о возможных ограничениях связи.
22. Опилки на грядках: бесплатное золото или яд для урожая?
23. Цветы для ленивого сада: посадил и забыл на все лето.
24. Недавно я английский язык выучила.
25. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
26. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
27. Легенды мирового рока украсили фасады домов в елизаветино.
28. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
29. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
30. Oгурцы будете рaздавать всем coceдям.
31. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
32. Coветы для тoго, чтoбы получить крупную малину.
33. Cвекла на дaче: что вaжно учесть в течение сезона.
34. Секрет пышной и сладкой морковки - простая подкормка!
35. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
36. Пробовали сажать лук китайским способом?
37. Пoчему лук стoит caжать в клyбнике.
38. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
39. Замиокулькас. Это следует сделать сразу после покупки.
40. Давайте мы приготовим вкуснейшую аджику из cлив.
41. С легкой и пушистой текстурой, это самый мягкий торт.
42. Полезная памятка средств для сада и огорода.
43. Разбираемся как бороться с червяками на малине.
44. Аромат осени в банке - яблочное варенье с корицей.
45. Маленькая шпаргалка по томатам.
46. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
47. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
48. Аптечка для ваших растений.
49. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
50. Грим в кино - это не просто макияж, а важная часть создания образа героя.