Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
2. Вмecто тыcячи слов.
3. В 2026 году в России ожидается волна сокращений персонала.
4. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
5. Секс помогает улучшать память - к такому выводу пришли американские учёные.
6. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
7. Начинайте готовить ягодные кустарники к холодам.
8. Маленькая шпаргалка по томатам.
9. Подготовка почвы к новому сезону: без перекопки, но с пользой.
10. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
11. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
12. Лето без арбуза и дыни - не лето!
13. И другой более масштабный вариант есть.
14. Топ-10 инструментов для веб-скраппинга 2025: Ускорьте извлечение данных
15. Полное руководство по Instagram прокси 2025: как освоить социальные сети
16. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
17. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.
18. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
19. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
20. Дорогие мои, вот как я обычно вешаю цветочный горшок на веревку - это просто и красиво, а главное, надежно!
21. Как заказать товары с Amazon в Россию в 2025 году: пошаговая инструкция
22. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
23. Какие религиозные места можно посетить в Москве
24. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
25. Томатный гном розовая пантера.
26. Важность прокси-серверов в обеспечении сетевой безопасности
27. Секреты идеальной фигуры: как модели сохраняют свою форму
28. Самые аппетитные и быстрые запеченные роллы!
29. Как найти прибыльные долгосрочные товары для продажи на Amazon FBA
30. Что будет, если вылить чайник кипятка на куст смородины!
31. Топовые 4G Прокси для Instagram: Скорость и Безопасность
32. Какие музеи Саратова самые популярные среди туристов
33. После шторма! Ледяные наплески после шторма в лучах восходящего солнца.
34. Арбитраж трафика умер в 2025: причины и последствия
35. P2P Арбитраж: Как Однажды Популярная Схема Превратилась Во что-то Новое
36. Арбитраж с пабликов ВК: как зарабатывать на живых публикациях
37. Первобыль: как начать работать с арбитражем трафика в 2025 году
38. Арбитраж трафика 2025: полное руководство по быстрому заработку
39. The Ultimate Guide to the Top 15 Web Scraping Tools and Software in 2025
40. The Top 6 Data Extraction Tools to Watch in 2025
41. Тoрт "Светлaна" без выпечки.
42. Proxifier 5.11 + License key Free Download 2025: How to Get It
43. Знаменитый рецепт домашней ветчины, обязательный атрибут новогоднего стoла!
44. Unlocking the Potential of Proxy APIs for Web Scraping
45. Чиж & Co Новосибирск: История успеха
46. Discover the Best Web Scraping Proxy API Services for 2025
47. The Top 7 Python Libraries for Web Scraping in 2025
48. Top 10 Web Scraping APIs to Watch in 2025
49. The Top 14 Instagram Proxies to Use in 2025: Stay Ahead of the Game
50. Клубникa будет сладкой и зaвалит вас урожаем, если сделать так!