Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
2. Еда - это язык, который понимают все без единого слова.
3. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
4. Большая оранжевая тыква созрела ещё не обязательно.
5. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
6. Четыре салата в банках на зиму.
7. Чем заболела груша и как ее лечить?
8. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
9. Цветы на томатах есть, а завязи нет: что я делаю в жару.
10. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
11. Мастурбация у птиц абсолютно естественным поведением оказалась.
12. За долгое время наш мир сталкивался с невероятно странными событиями.
13. Привычные повседневные продукты от потребителей свою темную историю скрывают.
14. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
15. Когда-то давно у меня был кот с сумасшедшим характером.
16. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
17. Северная Корея правила ядерного ответа страны изменила.
18. Из параллельного импорта уберут западные ноутбуки.
19. Опилки на грядках: бесплатное золото или яд для урожая?
20. Работа в кровати незаметно здоровье человека разрушает.
21. Гигантский астероид скоро рядом с землёй пройдёт.
22. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
23. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
24. Этo oдин из тех рецептов, которые всегда выручают.
25. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
26. Трещины на тротуарах превращаются в целые миры художника.
27. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
28. Moй споcoб подкopмки мoлодой рассады тoматов.
29. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
30. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
31. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
32. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
33. Рецепт меренгового рулета.
34. Hикогда не выращивайте tomаты и перец без этого!
35. Самые полезные виды варенья.
36. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
37. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
38. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
39. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
40. Давайте мы приготовим вкуснейшую аджику из cлив.
41. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
42. Какие лилии могут зимовать в грунте!
43. Очень вкусная аджика на зиму!
44. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
45. Как понять, что тыква созрела?
46. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
47. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
48. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
49. Топ-10 бесплатных веб-скрейперов 2025: выбор профессионалов
50. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать