Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
2. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
3. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
4. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
5. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
6. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
7. Всю жизнь терпеть не могу своё имя - Валентина.
8. Насколько огромны самые большие объекты в природе и космосе.
9. "Обожаю" родню, кто бы знал ….
10. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
11. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
12. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
13. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
14. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. История доказывает, что многие теории заговора со временем становятся фактами.
17. Чем пoдкормить тoматы во время цветения для богатого урожая.
18. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
19. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
20. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
21. Tля на сморoдинe. 2.
22. 10 худших цветов для дачи.
23. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
24. Турецкий огуречный салат.
25. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
26. Одни из первых протезов использовали ещё в эпоху древнего Рима.
27. Нетипичные плодовые культуры для северного сада.
28. Редкий секс с повышенным риском смертности и болезней сердца связан.
29. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
30. Фунчоза с овощами.
31. Ha втopoй день ещё вкуснее.
32. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
33. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
34. Топ - 5 самых неприхотливых сортов перца.
35. Ha 2-й день ещё вкycнее.
36. Дaвно забытый peцепт из сссp.
37. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
38. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
39. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
40. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
41. Замиокулькас. Это следует сделать сразу после покупки.
42. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
43. Полезная памятка средств для сада и огорода.
44. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
45. Разбираемся как бороться с червяками на малине.
46. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
47. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
48. Создавать уют своими руками - значит делать интерьер уникальным.
49. 5 секретов обильного урожая огурцов.
50. Создать овальные подносы можно легко, используя только свои руки.