Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Амазония кажется бескрайним зелёным океаном, но её глубины скрывают опасности.
2. Мой мужчина в разводе.
3. Valve начала Казахстану в разы больше налоговых денег приносить.
4. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
5. Некоторые тайны земли до сих пор не получили окончательного объяснения.
6. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
7. Ночью знакомая дорога легко в полосу неизвестности превращается.
8. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
9. В 11 лет я сломала нос.
10. С мужем поженились рано, родили дочку.
11. Мы с мужем очень сильно поругались, решили разводиться.
12. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
13. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
14. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
15. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
16. Официальная мировая история находится намного ближе к нам, чем кажется.
17. В России временно разрешили производство бензина и дизеля более низких экологических классов.
18. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
19. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
20. Роза осирия - магия двух оттенков.
21. Опилки на грядках: бесплатное золото или яд для урожая?
22. Мой личный лайфхак относительно учёбы.
23. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
24. У китайцев принято чавкать.
25. Ваши вопросы: пожелтела совсем туя после зимы.
26. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
27. В Алматы установили памятник истории спасения собаки живой цепью.
28. 1941 год. Украина, первые месяцы оккупации.
29. Трещины на тротуарах превращаются в целые миры художника.
30. HE поливайте, когда земля сухая!
31. Когда вид на озеро главным элементом проекта дома становится.
32. Дeвочки, это сaмый крyтой зaвтрак.
33. "Tы понимаешь, что тебя уже нет?
34. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
35. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
36. Фигуру дочки Маликова бурно обсуждают в Сети.
37. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
38. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
39. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
40. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
41. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
42. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
43. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
44. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
45. С легкой и пушистой текстурой, это самый мягкий торт.
46. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
47. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
48. Полезная свекольная аджика на зиму.
49. Начинайте готовить ягодные кустарники к холодам.
50. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.