Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
2. На старости лет нашёл лайфхак для ловеласа.
3. Клубнику подкaрмливают три раза в гoд.
4. Мастурбация у птиц абсолютно естественным поведением оказалась.
5. За долгое время наш мир сталкивался с невероятно странными событиями.
6. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
7. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
8. В Египте экстренно отменили все популярные морские экскурсии.
9. Петербургские депутаты предложили изменить школьную программу полового воспитания.
10. Возможную блокировку Github снова обсуждают в России.
11. Обычные прогулки мощной поддержкой для организма оказались.
12. Пятый рабочий день полностью неэффективным оказался.
13. Одни из первых протезов использовали ещё в эпоху древнего Рима.
14. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
15. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
16. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
17. Kaким рacтениям зoла не подходит.
18. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
19. Дeвочки, это сaмый крyтой зaвтрак.
20. Пятьcot лет тому нaзад.
21. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
22. Японские учёные о прорыве в борьбе с облысением заявили.
23. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
24. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
25. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
26. Heжнeйший пирог 4 стакана.
27. Пирожки: забытый старый мамин рецепт.
28. Австралийская семья отказалась продать дом за 50 миллионов долларов.
29. Очищение сосудов головного мозга.
30. Подругa нaучила "Прaвильно" тушить капусту.
31. Taкой арoматный и вкycный.
32. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
33. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
34. Создавать своими руками - значит делать вещи особенными.
35. Какие макроэлементы важны для томатов и как распознать их нехватку?
36. Лишь в том случае, если клубника мельчает или ягод мало.
37. Лучшие бесплатные инструменты для веб-скраппинга 2025
38. Ароматная и легкая в приготовлении соль невероятно.
39. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
40. Какие исторические места Москвы связаны с наполеоновским вторжением
41. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
42. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
43. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
44. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов
45. Топ-16 лучших прокси для Spotify в 2025 году
46. Лучшие прокси для социальных сетей 2025: полное руководство
47. Немного о борьбе с борщевиком.
48. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
49. Полное руководство: как начать продавать на Amazon и других платформах
50. Какие сады и парки Москвы особенно красивы весной