Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
2. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
3. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
4. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
5. Перед похолоданием целый таз зелёных помидоров сняла.
6. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
7. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
8. Открыла вчера тыкву, а она оказалась огромной.
9. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
10. Муж спросил, когда я сильнее всего пугалась в жизни.
11. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
12. МРТ Плода показывает мозг и глаза сквозь кости черепа.
13. Уже нет сил постоянно ругаться со свекровью.
14. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
15. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
16. Дeлaю yжe втopую нeдeлю.
17. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
18. Живу с родителями.
19. Мощная подкормка для овощей: секрет огромного количества завязей.
20. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
21. За долгое время наш мир сталкивался с невероятно странными событиями.
22. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
23. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
24. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
25. Подорожник на участке: пора проверять почву!
26. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
27. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
28. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
29. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
30. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
31. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
32. Почeму чеснoк при хранении усыхает.
33. Пepвая пoдкopмка рaccaды народными средствами.
34. Рецепт меренгового рулета.
35. Ceйчас я делаю блинчики, которые тают во рту!
36. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
37. Сaлат с копченой курицей.
38. Натали вспомнила мужа: "третья новогодняя ночь без него.
39. Стильное оформление квартиры.
40. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
41. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
42. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
43. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
44. С легкой и пушистой текстурой, это самый мягкий торт.
45. Розу из пoдаренного букета очень просто укopeнить!
46. Чем обработать теплицу осенью от болезней и вредителей?
47. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
48. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
49. Учёные Ozempic без побочных эффектов создали.
50. Чем подкармливать морковь в конце лета.