Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Американец с самым крошечным пенисом в мире на увеличение пошёл.
2. Твоё тело работает 24 часа в сутки без твоего участия.
3. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
4. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
5. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
6. Чем заболела груша и как ее лечить?
7. Большинство крупнейших катастроф в мировой истории не были неизбежными.
8. Будьте осторожны на участках и во время отдыха на природе.
9. Российские медики о резком росте опасных кишечных инфекций предупредили.
10. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
11. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
12. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
13. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
14. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
15. В Госдуме предложили необычный способ провести время без интернета.
16. Mышь в yлье.
17. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
18. "Фишка моей внешности в том, что я родилась старой.
19. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
20. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
21. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
22. Простое клубничное варенье.
23. Фильм, который меняет стереотипное представление об атомной энергетике.
24. Мы удобряeм сливу правильно!
25. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
26. Oна есть у кaждого в саду … вeдьмина трава.
27. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
28. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
29. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
30. Маринованные помидоры. Предлагаю рецепт помидорчиков.
31. Малина ведрами. Как удается получать такой урожай?
32. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
33. Как избавиться от грызунов на даче простыми средствами.
34. Секс помогает улучшать память - к такому выводу пришли американские учёные.
35. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
36. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
37. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
38. Срывать недозрелые плоды или ждать полной зрелости?
39. Чем подкармливать морковь в конце лета.
40. Эти малыши, размером 5-10 см.
41. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
42. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
43. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
44. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
45. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
46. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
47. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
48. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать
49. Топ-13 расширений Chrome для веб-скраппинга в 2025 году: обзор и рекомендации
50. Эффективная универсальная подкормка для всех Видов цветов.