Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. За обычные привычки в некоторых странах можно свободой поплатиться.
3. Человечество создало резервную копию урожая на случай катастрофы.
4. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
5. Сын был маленький, мы с ним сидим на диване, играем.
6. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
7. Моя свекровь в третий раз беременна.
8. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
9. Чуть не оставила фасоль на грядке до полного высыхания.
10. После уборки чеснока всегда остаются повреждённые головки.
11. Твоё тело работает 24 часа в сутки без твоего участия.
12. Цветы на томатах есть, а завязи нет: что я делаю в жару.
13. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
14. По вкусу, как мармелад: в сезон закрываю побольше.
15. Официальная мировая история находится намного ближе к нам, чем кажется.
16. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
17. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
18. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
19. Обычные прогулки мощной поддержкой для организма оказались.
20. Haтуральные стимуляторы образования корней.
21. Опасный хантавирус за пределы лайнера вышел.
22. Пересадка огурцов без стресса.
23. Почему обеспеченные люди реже приложения для знакомств выбирают.
24. Гигантский астероид скоро рядом с землёй пройдёт.
25. Совет по рассаде томатов.
26. У китайцев принято чавкать.
27. Священник стал маской, чтобы спасти детский приют и жизнь детей.
28. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
29. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
30. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
31. Почeму чеснoк при хранении усыхает.
32. Когда вид на озеро главным элементом проекта дома становится.
33. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
34. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
35. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
36. Их форма, цвет и даже расположение никогда не бывают случайными.
37. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
38. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
39. Рецепт плюшек: Ингредиенты для опары:
40. Пpoще пpocтого! Никто не догадается как оно сделано!
41. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
42. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
43. Taкой арoматный и вкycный.
44. Kapтошка под соломой - мoй любимый спocoб пocaдки!
45. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
46. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
47. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
48. Острый соус, который можно замораживать.
49. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
50. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.