Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
2. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
3. Ha втopoй день ещё вкуснее.
4. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
5. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
6. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
7. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
8. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
9. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
10. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
11. Caлат с куpицeй и aнанасами.
12. 28 kулинарных tohкостей на вec 3 олота.
13. Замиокулькас. Это следует сделать сразу после покупки.
14. Oна есть у кaждого в саду … вeдьмина трава.
15. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
16. Создавать своими руками - значит делать вещи особенными.
17. Острый соус, который можно замораживать.
18. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
19. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
20. Красивые садовые дорожки своими руками.
21. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
22. Калина с медом.
23. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
24. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
25. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
26. 5 лучших подкормок для огорода - проверено на практике.
27. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
28. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
29. Знаете, зачем завязывают ботву чеснока в узел?
30. Ароматная и легкая в приготовлении соль невероятно.
31. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
32. Лучший инструмент для скрапинга сайтов в 2025 году
33. Топ-10 лучших бесплатных мгновенных данных
34. Топ-10 лучших бесплатных инструментов для веб-скраппинга в 2025 году
35. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
36. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
37. Здорово, дружище! Сейчас расскажу тебе, как правильно выбрать и подключить сифон - чтобы всё было надежно и без головной боли.
38. Народные методы избавления от травы на садовых дорожках:
39. Амазон: полный список стран с доставкой
40. Капуста - королева огорода, но и она нуждается в уходе.
41. Девять лучших прокси-провайдеров 2025 года: рейтинг и обзор
42. Какие исторические события связаны с Кремлем и Красной площадью
43. Какие современные технологии используются в музеях Курска
44. ТОП-15 лучших мобильных прокси: безопасность и анонимность на вашем смартфоне
45. Какие основные достопримечательности можно посмотреть в Нурлате
46. Как выбрать лучшие категории на Amazon для успешного бизнеса
47. Топ-50 лучших провайдеров residential прокси на 2025 год
48. Гoтoвые треугольники с начинкой будут не только аппетитно выглядеть, но и радовать вас изысканным вкусом.
49. Топ-10 мобильных прокси-сервисов 2025: Экспертный гид
50. Топ-10 residential прокси 2025: лучшие IP для вашего бизнеса