Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
2. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
3. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
4. Топ - 7 наборов семян, которые должны быть у каждого!
5. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
6. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
7. Дeвочки, это сaмый крyтой зaвтрак.
8. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
9. Нежный пирог черный принц из варенья.
10. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
11. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
12. Эта комната не подстраивается под свет - она управляет им в реальном времени.
13. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
14. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
15. Учёные в вейпах следы фекалий обнаружили.
16. Мощный шторм на Москву надвигается.
17. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
18. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
19. Как ухаживать за астрами для пышного цветения.
20. Начинайте готовить ягодные кустарники к холодам.
21. Топ - 5 идей для уюта на даче осенью.
22. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
23. Очень вкусная аджика на зиму!
24. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
25. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
26. Мы готовим малинник к следующему сезону правильно!
27. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
28. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
29. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
30. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
31. Топ-10 лучших бесплатных инструментов для веб-скраппинга в 2025 году
32. Какие исторические места Москвы связаны с наполеоновским вторжением
33. Какие интересные факты о московских улицах и их названиях
34. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.
35. Свежие прокси за последнюю минуту: самые актуальные адреса
36. Здорово, дружище! Сейчас расскажу тебе, как правильно выбрать и подключить сифон - чтобы всё было надежно и без головной боли.
37. Как заказать товары на Amazon в Россию: полное руководство
38. Полное руководство: как заказывать товары с Amazon в Россию
39. Лучшие прокси-сервисы 2025 года: Обзор и рейтинг
40. Какова история Собора Александра Невского в Йошкар-Оле
41. Начать следует, наверное, с вопроса: "а почему это растение выбросили?
42. Какие современные технологии используются в музеях Курска
43. Какие активности можно провести в парках Москвы
44. Полное руководство по всем видам прокси-серверов
45. Важность прокси-серверов в обеспечении сетевой безопасности
46. Есть ли места для ночного отдыха
47. Робкие весенние приветы.
48. Как найти продукт для Amazon FBA в 2025: секреты и стратегии
49. Как найти прибыльные товары для Amazon FBA в Q4 2025
50. Как успешно продавать на Amazon: пошаговое руководство