Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Удивительные товарищи всё-таки - родственнички.
2. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
3. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
4. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
5. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
6. Все выбрасывают арбузные корки, а я замариновала одну банку.
7. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
8. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
9. Из одного кочана делаю целую сковороду капустных шницелей.
10. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
11. Твоё тело работает 24 часа в сутки без твоего участия.
12. Самые абсурдные законы мира, в которые сложно поверить.
13. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
14. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
15. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
16. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
17. Роза осирия - магия двух оттенков.
18. Туапсе экологическая катастрофа хуже анапской грозит.
19. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
20. Почему нужно срезать верхушки у яблонь.
21. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
22. Moй споcoб подкopмки мoлодой рассады тoматов.
23. Слова - обереги, которые важно знать:
24. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
25. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
26. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
27. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
28. Ли польза в кoмпоте ecть?
29. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
30. Hacтойка, приготовленная по традиционному рецепту:
31. Топ - 5 самых неприхотливых сортов перца.
32. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
33. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
34. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
35. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
36. Как правильно подкармливать пионы чтобы они пышно цвели.
37. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
38. В 2026 году в России ожидается волна сокращений персонала.
39. Россиян ожидает резкое повышение тарифов на электроэнергию.
40. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
41. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
42. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
43. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
44. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
45. Малосольные помидорки по-армянски.
46. В московских клиниках лечение на современном оборудовании нормой стало.
47. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
48. Молодая кровь способна омолаживать тело - это доказали учёные.
49. Почему засыхает малина в период созревания ягод?
50. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.