Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
2. Недавно узнала, что у матери туберкулёз открытой формы.
3. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
4. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
5. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
6. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
7. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
8. С мужем поженились рано, родили дочку.
9. Из одного кочана делаю целую сковороду капустных шницелей.
10. Всю жизнь терпеть не могу своё имя - Валентина.
11. Холодный душ - это не просто способ проснуться быстро.
12. У моего отца дочь от первого брака была.
13. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
14. Я не худею к морю - езжу в Турцию.
15. На море вляпалась в курортный роман.
16. Современный гейминг оказался исключительно полезен для человеческой психики.
17. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
18. С 1 сентября в России планируют обновить перечень медицинских специальностей.
19. Мой личный лайфхак относительно учёбы.
20. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
21. Kaким рacтениям зoла не подходит.
22. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
23. Исследование рост половой дисфункции среди молодого поколения показало.
24. Никогда не выращивайте томаты и перец без этого!
25. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
26. Hикогда не выращивайте tomаты и перец без этого!
27. Самые полезные виды варенья.
28. Дочь марии Шукшиной раскрыла боль семейных отношений.
29. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
30. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
31. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
32. Стильное оформление квартиры.
33. Эта комната не подстраивается под свет - она управляет им в реальном времени.
34. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
35. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
36. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
37. Мы применяем просроченные лекарства.
38. Арапайма звучит как имя из глубокой древности, и недаром.
39. Вмecто тыcячи слов.
40. Давайте мы приготовим вкуснейшую аджику из cлив.
41. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
42. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
43. Лучший способ хранения чеснока.
44. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
45. В 2026 году в России ожидается волна сокращений персонала.
46. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
47. Чем обработать теплицу осенью от болезней и вредителей?
48. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
49. Недорогое средство от пятнистостей на розах.
50. Малосольные помидорки по-армянски.