Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В GTA VI полиция даже ваше лицо и одежду запомнит.
2. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
3. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
4. Пустая грядка в августе не обязана два месяца выращивать сорняки.
5. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
6. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
7. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
8. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
9. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
10. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
11. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
12. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
13. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
14. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
15. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
16. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
17. За долгое время наш мир сталкивался с невероятно странными событиями.
18. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
19. В Египте экстренно отменили все популярные морские экскурсии.
20. Петербургские депутаты предложили изменить школьную программу полового воспитания.
21. Роза осирия - магия двух оттенков.
22. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
23. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
24. После того как рухнула советская власть, что сделали?
25. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
26. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
27. Oбычный лавровый лист заставит комнатные растения пышно цвести.
28. Heжнeйший пирог 4 стакана.
29. Убийцы paccaды. Что нельзя добавлять в грунт?
30. Простое клубничное варенье.
31. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
32. Как правильно ухаживать за фиалками.
33. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
34. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
35. Учёные в вейпах следы фекалий обнаружили.
36. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
37. Начинайте готовить ягодные кустарники к холодам.
38. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
39. Маленькая шпаргалка по томатам.
40. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
41. Что делать, если листья огурцов стали "Мраморные"?
42. Малосольные помидорки по-армянски.
43. Очень вкусная аджика на зиму!
44. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
45. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
46. Мы готовим малинник к следующему сезону правильно!
47. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
48. Какие макроэлементы важны для томатов и как распознать их нехватку?
49. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
50. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов: