Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
2. Кислую сливу, от которой за столом морщатся, я берегу для джема.
3. Родила дочь в свой день рождения.
4. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
5. Долго планировали с мужем переезд, нашли жилье.
6. Соседка уже спрашивает, когда будем сажать озимый чеснок.
7. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
8. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
9. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
10. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
11. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
12. Должны были с подружкой пойти в субботу на пробежку.
13. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
14. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
15. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
16. Вынуждена была уехать на лечение на месяц в другую страну.
17. Цветы на томатах есть, а завязи нет: что я делаю в жару.
18. Официальная мировая история находится намного ближе к нам, чем кажется.
19. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
20. Работаю в банке.
21. Современный гейминг оказался исключительно полезен для человеческой психики.
22. Мощная подкормка для овощей: секрет огромного количества завязей.
23. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
24. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
25. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
26. Урологи из сша новую технологию увеличения разработали.
27. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
28. Ваши вопросы: пожелтела совсем туя после зимы.
29. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
30. Мой способ подкормки молодой рассады томатов.
31. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
32. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
33. Пиpoжки: зaбытый стapый мaмин рeцепт.
34. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
35. Сырники больше не делаю.
36. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
37. Австралийская семья отказалась продать дом за 50 миллионов долларов.
38. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
39. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
40. Как правильно ухаживать за фиалками.
41. Не пробовали посадить лук китайским способом?
42. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
43. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
44. Зачем нам медный и железный купорос.
45. Формировать смородиновый куст можно как весной, так и осенью.
46. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
47. Казалось бы, простая рамка для фото.
48. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
49. Молодая кровь способна омолаживать тело - это доказали учёные.
50. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.