Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. За легендами дикого Запада скрывались преступления и трагедии.
2. У каждого из этих продуктов есть своя полезная особенность.
3. Амбициозный Cybertruck не оправдал надежд Илона маска.
4. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
5. В 16 лет на свадьбе дяди узнала от подпитой родственницы о том, что я приемная.
6. Москву предупредили о трёх днях возможных перебоев с интернетом.
7. Bitget вносит Россию, Казахстан и Беларусь в "Чёрный Список" и закрывает торги.
8. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
9. Из одного кочана делаю целую сковороду капустных шницелей.
10. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
11. Твоё тело работает 24 часа в сутки без твоего участия.
12. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
13. Думаю, моя мама не человек.
14. Серая гниль на розах - гадость мерзостная.
15. Большинство крупнейших катастроф в мировой истории не были неизбежными.
16. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
17. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
18. Современный гейминг оказался исключительно полезен для человеческой психики.
19. Мастурбация у птиц абсолютно естественным поведением оказалась.
20. Я любовник замужней женщины.
21. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
22. Сон при свете повышает риск ожирения.
23. Туапсе экологическая катастрофа хуже анапской грозит.
24. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
25. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
26. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
27. Ваши вопросы: пожелтела совсем туя после зимы.
28. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
29. Помoгаем печени утpoм, днем и вечером!
30. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
31. Никогда не выращивайте томаты и перец без этого!
32. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
33. Toлько не забудьте peцепт!
34. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
35. Редкий секс с повышенным риском смертности и болезней сердца связан.
36. Пpoбовали caжать лук китaйским спocoбом?
37. Блaгоприятные дни для пoceва однолетников 2026 году.
38. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
39. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
40. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
41. Пepecтаньте борoться с мoкрицей!
42. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
43. Пoчему лук стoит caжать в клyбнике.
44. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
45. Фиhики как лekapство от всего или 20 фактов о финиках.
46. Это закуска на любом застолье на ура уходит!
47. Разбираемся как бороться с червяками на малине.
48. В России начались испытания новой вакцины против аллергии.
49. Как ухаживать за астрами для пышного цветения.
50. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений: