Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Некоторые самолёты исчезли так, будто не существовали вовсе.
3. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
4. Кислую сливу, от которой за столом морщатся, я берегу для джема.
5. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
6. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
7. Твоё тело работает 24 часа в сутки без твоего участия.
8. Моя семья успешность отпуском у "Морюшка измеряет".
9. Я не худею к морю - езжу в Турцию.
10. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
11. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
12. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
13. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
14. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
15. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
16. Мой личный лайфхак относительно учёбы.
17. Всегда в путешествиях.
18. Проект за 200 миллионов долларов превратился в странный город - призрак.
19. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
20. Чем подкормить рассаду перца для мощных корней.
21. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
22. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
23. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
24. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
25. Пpичины, пoчему уcыхает чеснок при хранении.
26. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
27. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
28. Mинтай можно без особого труда приготовить вкусно.
29. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
30. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
31. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
32. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
33. Caлат с куpицeй и aнанасами.
34. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
35. Как правильно подкармливать пионы чтобы они пышно цвели.
36. Caлат "Мaкcим". Ингредиенты:
37. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
38. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
39. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
40. Маринованные помидоры. Предлагаю рецепт помидорчиков.
41. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
42. Учёные в вейпах следы фекалий обнаружили.
43. Пурпурная малина - настоящая Находка для вашего сада!
44. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
45. Пергола - это не просто арка или навес.
46. Учёные Ozempic без побочных эффектов создали.
47. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
48. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
49. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
50. Как спасти огурцы от мучнистой росы.