Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
2. На месторождении "Газпром Нефти" начал работу первый российский комплекс для обслуживания скважин.
3. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
4. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
5. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
6. Насколько огромны самые большие объекты в природе и космосе.
7. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
8. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
9. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
10. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
11. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
12. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
13. История доказывает, что многие теории заговора со временем становятся фактами.
14. Мы удаляем листья у томата по правилам!
15. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
16. Муж часто домашние дела на потом задвигает.
17. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
18. Петербургские депутаты предложили изменить школьную программу полового воспитания.
19. Без иронии, вначале попробуйте, это очень вкусный напиток.
20. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
21. Здравствуйте, участники сообщества!
22. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
23. Препараты от болезней томатов!
24. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
25. Всегда в путешествиях.
26. Сamые удачные сорта моркови на 2026 год.
27. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
28. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
29. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
30. Hикогда не ставьте забор обратной стороной к соседу!
31. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
32. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
33. Про выращивание укропа.
34. Пирожки: забытый старый мамин рецепт.
35. Cвекла на дaче: что вaжно учесть в течение сезона.
36. Как заставить замиокулькас активно выпускать новые побеги.
37. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
38. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
39. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
40. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
41. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
42. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
43. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
44. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
45. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
46. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
47. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
48. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
49. Калина с медом.
50. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.