Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. Семейный квест: как победить грипп?
3. Москвичка девять месяцев не подозревала, что носит ребёнка.
4. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
5. Я в небогатой семье с двумя братьями росла.
6. Чуть не оставила фасоль на грядке до полного высыхания.
7. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
8. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
9. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
10. Яблок много - вроде радоваться надо.
11. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
12. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
13. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
14. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
15. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
16. Современный гейминг оказался исключительно полезен для человеческой психики.
17. План для женщин, которые одиноки и ищут себе мужчину!
18. Сделал тест днк на дочь - результат 0%.
19. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
20. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
21. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
22. Традиционные дипломные работы могут полностью исчезнуть из вузов.
23. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
24. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
25. С 1 сентября в России планируют обновить перечень медицинских специальностей.
26. Плитка из ведерка от майонеза: дачный шик своими руками.
27. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
28. Мой личный лайфхак относительно учёбы.
29. Турецкий огуречный салат.
30. У китайцев принято чавкать.
31. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
32. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
33. Трещины на тротуарах превращаются в целые миры художника.
34. Редкий секс с повышенным риском смертности и болезней сердца связан.
35. Mинтай можно без особого труда приготовить вкусно.
36. Moлодым хозяйкам на заметку!
37. Как заставить замиокулькас активно выпускать новые побеги.
38. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
39. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
40. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
41. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
42. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
43. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
44. Моя соседка никак не могла продать дорогущий антикварный комод.
45. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
46. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
47. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
48. В России начались испытания новой вакцины против аллергии.
49. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
50. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.