Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
2. Живём с мужем в квартире, которая до брака принадлежала мужу.
3. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
4. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
5. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
6. С мужем вместе уже 10 лет.
7. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
8. На столе опять собралась миска яблок, которые никто не хотел есть.
9. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
10. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
11. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
12. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
13. Про проветривание теплицы.
14. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
15. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
16. В России временно разрешили производство бензина и дизеля более низких экологических классов.
17. Мастурбация у птиц абсолютно естественным поведением оказалась.
18. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
19. Уволенных россиян официально призвали готовиться к целому году безработицы.
20. Как-то довелось быть свидетелем диалога двух дачниц.
21. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
22. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
23. Обычные прогулки мощной поддержкой для организма оказались.
24. Плитка из ведерка от майонеза: дачный шик своими руками.
25. Моя мама очень долго болью в коленях мучилась.
26. Архивные фото Ирины шейк из юности.
27. Хитрости выращивания кабачков:
28. Почему вы зря деревья от лишайника белите?
29. Hикогда не выpaщивайте tomаты и перец без этого!
30. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
31. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
32. В Алматы установили памятник истории спасения собаки живой цепью.
33. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
34. Этой весной Россию накроет массовое нашествие комаров и клещей.
35. Нежный пирог черный принц из варенья.
36. Нашатырь можно как хорошую подкормку для лука использовать.
37. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
38. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
39. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
40. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
41. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
42. Caлат с куpицeй и aнанасами.
43. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
44. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
45. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
46. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
47. Это закуска на любом застолье на ура уходит!
48. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
49. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
50. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.