Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
2. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
3. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
4. Уволенных россиян официально призвали готовиться к целому году безработицы.
5. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
6. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
7. Опасный хантавирус за пределы лайнера вышел.
8. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
9. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
10. Мой способ подкормки молодой рассады томатов.
11. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
12. Дeвочки, это сaмый крyтой зaвтрак.
13. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
14. Рецепт меренгового рулета.
15. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
16. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
17. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
18. Секрет пышной и сладкой морковки - простая подкормка!
19. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
20. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
21. Простое клубничное варенье.
22. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
23. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
24. Ни один шашлычек у нас не обходят без этой закуски!
25. Учёные в вейпах следы фекалий обнаружили.
26. Россиян ожидает резкое повышение тарифов на электроэнергию.
27. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
28. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
29. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
30. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
31. Секс помогает улучшать память - к такому выводу пришли американские учёные.
32. Саженцы яблонь. Какие выбрать.
33. Не люблю отдых дальше своего города.
34. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
35. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
36. Топ-9 инструментов для веб-скраппинга в 2025 году: что нового и что лучше
37. Какие исторические места Москвы связаны с наполеоновским вторжением
38. Бесплатные Прокси для Вашего Удобства: Топ-15 Резиденциальных Сервисов 2025
39. Вот несколько отличных вариантов растений и цветов, которые можно посадить под елью в саду, чтобы создать красивую и гармоничную композицию:
40. Лучшие Instagram-прокси 2025: полное руководство
41. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.
42. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году
43. Лучшие прокси для социальных сетей 2025: полное руководство
44. Йошта. Почему я её крыжовнику предпочла.
45. Пирамиды в момент постройки как сияющие инопланетные монолиты выглядели.
46. Когда тренировка превращается в настоящее представление - парень не упускает шанса пошутить над подругой прямо в зале.
47. Ceкрeты выpaщивания пeкинcкoй кaпycты (а почему бы не попробовать).
48. Как заказать товары с Amazon в Россию в 2025 году: пошаговая инструкция
49. Мы превращаем петунии в ФЕЙЕРВЕРК цветов.
50. Амазон: полный список стран с доставкой