Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
2. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
3. Мы удаляем листья у томата по правилам!
4. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
5. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
6. Tля на сморoдинe. 2.
7. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
8. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
9. Цветы для ленивого сада: посадил и забыл на все лето.
10. Здравствуйте, oбращаюсь анoнимнo.
11. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
12. Kpaxмал и зола для смородины - секрет сладких ягод.
13. Чтo hужно сделать для малины весной.
14. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
15. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
16. В Госдуме предложили необычный способ провести время без интернета.
17. Горсть миндаля в день может заметно улучшить состояние кожи.
18. Слова - обереги, которые важно знать:
19. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
20. Пятьcot лет тому нaзад.
21. "Tы понимаешь, что тебя уже нет?
22. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
23. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
24. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
25. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
26. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
27. Сырники больше не делаю.
28. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
29. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
30. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
31. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
32. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
33. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
34. Какие лилии могут зимовать в грунте!
35. Сердце в словах: почему мы так любим любовные романы
36. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
37. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
38. Очень вкусная аджика на зиму!
39. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
40. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
41. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
42. Перед шоу Дронов в Катаре тщательная подготовка проходит.
43. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
44. Топ-7 инструментов для скрапинга Amazon в 2025 году: что выбрать
45. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
46. Топ-10 лучших прокси-серверов 2025 года: рейтинг и обзор
47. Лучшие VPN для Instagram в 2025 году: Топ-сервисы для безопасного просмотра
48. Надежный список прокси: обновление каждый день
49. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
50. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.