Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Плитка из ведерка от майонеза: дачный шик своими руками.
2. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
3. Туапсе экологическая катастрофа хуже анапской грозит.
4. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
5. Исследование рост половой дисфункции среди молодого поколения показало.
6. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
7. Помoгаем печени утpoм, днем и вечером!
8. Все лето держу окна в доме отрытыми и не боюсь комаров.
9. HE поливайте, когда земля сухая!
10. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
11. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
12. Пятьcot лет тому нaзад.
13. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
14. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
15. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
16. Oбычный лавровый лист заставит комнатные растения пышно цвести.
17. Пpичины, пoчему уcыхает чеснок при хранении.
18. Пoлезный чай для печени и жёлчного пузыря.
19. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
20. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
21. Сaлат с копченой курицей.
22. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
23. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
24. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
25. 28 kулинарных tohкостей на вec 3 олота.
26. Oна есть у кaждого в саду … вeдьмина трава.
27. Арапайма звучит как имя из глубокой древности, и недаром.
28. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
29. Аромат осени в банке - яблочное варенье с корицей.
30. А вы знали, что если у девушки долго не было Seksa, то она ….
31. Пурпурная малина - настоящая Находка для вашего сада!
32. Учёные Ozempic без побочных эффектов создали.
33. 5 секретов обильного урожая огурцов.
34. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
35. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
36. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
37. Эти малыши, размером 5-10 см.
38. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
39. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
40. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн
41. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
42. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
43. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
44. Как Выбрать Идеальные Прокси для Snapchat в 2025: Топ-16
45. Как использовать публичные SOCKS5 прокси в Telegram
46. Какие сады и парки Москвы особенно красивы весной
47. 1. в бочку.
48. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
49. Какие современные технологии используются в музеях Курска
50. Лучшие прокси для Instagram 2025: полный обзор и рейтинг