Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
2. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
3. Чем обработать теплицу осенью от болезней и вредителей?
4. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
5. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
6. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
7. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
8. Грим в кино - это не просто макияж, а важная часть создания образа героя.
9. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
10. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
11. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
12. В этом посте мы расскажем, как начать свой бизнес с нуля
13. Посетители вулкана спускаются вниз, когда на Этне началось извержение.
14. Интересные факты о Владивостоке, которые вы, возможно, не знали
15. Как быстро вырастить базилик?
16. Пластиковый пакет в среднем 10-15 минут используется.
17. Ирис германский рио - роскошный бородатый ирис с крупными цветами.
18. Какие улицы и площади Ростова-на-Дону считаются самыми красивыми и насыщенными историей
19. Лучшие прокси-сервисы для арбитража 2025: рейтинг и обзор
20. Прокси-серверы: что это такое и как они работают
21. Понимание Твоей Фигуры: 5 Основных Типов и Как Ими Пользоваться
22. Самые красивые фигуры в мире: топ-25 женщин, которые вдохновляют
23. Какие лучшие рестораны для гурманов в Москве
24. Как найти лучшего поставщика для ваших продуктов Amazon FBA
25. Headlines:
26. Секреты поиска продуктов для продажи на Amazon FBA в 2025 году
27. Топ-6 продуктов для Amazon FBA в 2025 году: Руководство по успеху
28. Невероятный новый метод исследования продуктов для Amazon FBA
29. Лучшие мобильные прокси 2025: Надежность и скорость для ваших нужд
30. В каких парках и прогулочных зонах можно отдохнуть в Орехово-Зуеве
31. Арбитраж трафика в 2025 году: что это такое и как на нем заработать
32. Тecтo "Кaк пух".
33. Как заработать на Дейтинге в 2025 году: Пассивный доход для всех
34. Как я погрузилась в арбитражную команду: опыт и вызовы
35. Арбитраж трафика: что это такое и как на нем заработать
36. Какие промышленные предприятия сделали Кемерово известным
37. Мы готовим апельсиновый кeкс.
38. 17+ Top Web Scraping Tools for Data Extraction in 2025
39. Лучшие инструменты для сбора данных с веб-сайтов: топ-10
40. Садовый бинт, применяемый в плодовом саду, заменяет использование побелки и ловчих поясов.
41. Proxifier 4.12: Улучшенная производительность и новые возможности
42. Proxifier 4.11 Crack + Registration key Full Activated: Everything You Need to Know
43. Оркестр CAGMO Владимир: воспитание молодых талантов
44. Чиж & Co Новосибирск: История успеха
45. Торт из печенья с бананом на скорую руку.
46. Unlocking the Power of Instagram Proxies: Top 15 Picks for 2025
47. The Top 14 Instagram Proxies to Use in 2025: Stay Ahead of the Game
48. Top Instagram Proxies for 2025: Our #1 Pick Revealed
49. Стас Пьеха и Краснодар: история творческого союза
50. The Ultimate Guide to the Top 10 Best Web Scraping Tools for Data Extraction