Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. Недавно узнала, что у матери туберкулёз открытой формы.
3. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
4. Все выбрасывают арбузные корки, а я замариновала одну банку.
5. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
6. Клубника отплодоносила, но бросать её до весны нельзя.
7. Пустая грядка в августе не обязана два месяца выращивать сорняки.
8. Четыре салата в банках на зиму.
9. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
10. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
11. Зеленый бочок у картошки: срезать или выбросить?
12. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
13. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
14. Мне 37, молодая и здоровая была, но за год постарела.
15. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
16. Думаю, моя мама не человек.
17. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
18. Найти хорошую работу в России становится практически невозможно для большинства граждан.
19. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
20. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
21. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
22. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
23. Популярные суши и роллы официально признали настоящим суперфудом.
24. Экзамен по философии сдавала.
25. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
26. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
27. Архивные фото Ирины шейк из юности.
28. Пятый рабочий день полностью неэффективным оказался.
29. Одни из первых протезов использовали ещё в эпоху древнего Рима.
30. Moй споcoб подкopмки мoлодой рассады тoматов.
31. Когда вид на озеро главным элементом проекта дома становится.
32. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
33. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
34. Сыплю под Смородину весной по две ложки.
35. Toматы для ленивых.
36. Нашатырь можно как хорошую подкормку для лука использовать.
37. Лепешки на кефире с начинкой.
38. Heжнeйший пирог 4 стакана.
39. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
40. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
41. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
42. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
43. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
44. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
45. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
46. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
47. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
48. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
49. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
50. Малосольные помидорки по-армянски.