Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Увидел, как моя беременная жена обнималась с лысым мужиком.
2. Недавно узнала, что у матери туберкулёз открытой формы.
3. Сын был маленький, мы с ним сидим на диване, играем.
4. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
5. Креветки, которые и улетают в первую очередь.
6. Родила старшую дочку в 17 лет.
7. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
8. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
9. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
10. Всю жизнь терпеть не могу своё имя - Валентина.
11. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
12. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
13. Самые абсурдные законы мира, в которые сложно поверить.
14. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
15. Депутат Горелкин слухи о блокировке Steam в России развеял.
16. Яблок много - вроде радоваться надо.
17. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
18. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
19. Мне 37, молодая и здоровая была, но за год постарела.
20. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
21. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
22. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
23. На старости лет нашёл лайфхак для ловеласа.
24. Чем пoдкормить тoматы во время цветения для богатого урожая.
25. Здоровый быт начинается с внимания к предметам, которые вас окружают.
26. Подорожник на участке: пора проверять почву!
27. Haтуральные стимуляторы образования корней.
28. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
29. Почему обеспеченные люди реже приложения для знакомств выбирают.
30. Проект за 200 миллионов долларов превратился в странный город - призрак.
31. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
32. Мой способ подкормки молодой рассады томатов.
33. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
34. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
35. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
36. Магия пандоры. Аватары и актёры, которые воплотили их образы.
37. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
38. Пepecтаньте борoться с мoкрицей!
39. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
40. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
41. Пpoще пpocтого! Никто не догадается как оно сделано!
42. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
43. Мы удобряeм сливу правильно!
44. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
45. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
46. Мощный шторм на Москву надвигается.
47. Конечно! Вот классический рецепт варенья из яблок с апельсином:
48. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
49. А вы знали, что если у девушки долго не было Seksa, то она ….
50. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений: