Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. У меня были серьезные проблемы со здоровьем по женской части.
2. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
3. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
4. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
5. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
6. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
7. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
8. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
9. В Россию прибыла первая партия бензина из индии.
10. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
11. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
12. Депутат Горелкин слухи о блокировке Steam в России развеял.
13. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
14. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
15. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
16. Маринованные помидоры с чесноком быстрого приготовления.
17. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
18. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
19. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
20. На старости лет нашёл лайфхак для ловеласа.
21. Средства для подкормки помидоров.
22. Российские власти введение дополнительной платы за VPN отложили.
23. Обычные прогулки мощной поддержкой для организма оказались.
24. Почему желтеет лук и чеснок и как быстро их "Оживить".
25. 10 худших цветов для дачи.
26. Опилки на грядках: бесплатное золото или яд для урожая?
27. Мой личный лайфхак относительно учёбы.
28. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
29. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
30. Клещи - мутанты из Африки атакуют россиян.
31. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
32. Трещины на тротуарах превращаются в целые миры художника.
33. Дeвочки, это сaмый крyтой зaвтрак.
34. Джим Керри и теория клона: что произошло на самом деле?
35. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
36. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
37. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
38. Самый возрастной ветеран великой отечественной войны умер.
39. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
40. Когдa нeльзя сaжать и cеять.
41. Фиhики как лekapство от всего или 20 фактов о финиках.
42. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
43. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
44. Конечно! Вот классический рецепт варенья из яблок с апельсином:
45. Мы не дадим слизням перезимовать!
46. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
47. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
48. Секрет крупного озимого чеснока - простая подкормка при посадке!
49. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
50. В московских клиниках лечение на современном оборудовании нормой стало.