Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
2. Недавно узнала, что у матери туберкулёз открытой формы.
3. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
4. Природа каждый день показывает возможности, которые сложно представить.
5. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
6. Американец с самым крошечным пенисом в мире на увеличение пошёл.
7. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
8. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
9. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
10. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
11. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
12. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
13. На старости лет нашёл лайфхак для ловеласа.
14. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
15. Много лет отжиралась, но сейчас железно решила сесть на диету.
16. Клубнику от долгоносика спасаю ещё до цветения.
17. Возможную блокировку Github снова обсуждают в России.
18. Нарциссизм всё чаще связывают именно с генетикой.
19. Опасный хантавирус за пределы лайнера вышел.
20. В России обновили правила сдачи экзаменов на водительские права.
21. Работа в кровати незаметно здоровье человека разрушает.
22. Натуральные стимуляторы образования корней.
23. Kpaxмал и зола для смородины - секрет сладких ягод.
24. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
25. 10 растений с белыми цветами.
26. Мой способ подкормки молодой рассады томатов.
27. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
28. В России обсуждают усиление контроля переписок с помощью ИИ.
29. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
30. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
31. Нежный пирог черный принц из варенья.
32. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
33. Дочь марии Шукшиной раскрыла боль семейных отношений.
34. Пpичины, пoчему уcыхает чеснок при хранении.
35. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
36. Пeченочные котлеты с необычным ингредиентом.
37. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
38. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
39. Про выращивание укропа.
40. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
41. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
42. Мы применяем просроченные лекарства.
43. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
44. Полезная памятка средств для сада и огорода.
45. Учёные в вейпах следы фекалий обнаружили.
46. С утра иногда так хочется выпить ароматного бодрящего кофе.
47. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
48. Топ - 5 идей для уюта на даче осенью.
49. Красивые садовые дорожки своими руками.
50. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.