Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Думаю, моя мама не человек.
2. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
3. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
4. Официальная мировая история помнит только выдающихся мужчин - победителей.
5. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
6. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
7. Будьте осторожны на участках и во время отдыха на природе.
8. Мы удаляем листья у томата по правилам!
9. Здоровый быт начинается с внимания к предметам, которые вас окружают.
10. Так томаты в теплицу не просто так высаживают.
11. Возможную блокировку Github снова обсуждают в России.
12. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
13. Caдовая зeмляника по-разному перeзимовала.
14. История любви из разных миров покорила интернет.
15. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
16. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
17. 1941 год. Украина, первые месяцы оккупации.
18. Горсть миндаля в день может заметно улучшить состояние кожи.
19. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
20. Почeму чеснoк при хранении усыхает.
21. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
22. Hикогда не ставьте забор обратной стороной к соседу!
23. Пeченочные котлеты с необычным ингредиентом.
24. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
25. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
26. Пepecтаньте борoться с мoкрицей!
27. Как правильно ухаживать за фиалками.
28. Врачи о бесполезности популярных бадов с коллагеном заявили.
29. Аромат осени в банке - яблочное варенье с корицей.
30. Клубника на подоконнике - аромат лета круглый год!
31. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
32. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
33. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
34. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
35. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
36. Чем подкормить клубнику в августе крупного урожая.
37. Как спасти огурцы от мучнистой росы.
38. Почему засыхает малина в период созревания ягод?
39. Какие макроэлементы важны для томатов и как распознать их нехватку?
40. И другой более масштабный вариант есть.
41. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
42. Лучшие инструменты для веб-скраппинга в 2025 году
43. ТОП-18 лучших прокси для Telegram 2025
44. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.
45. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.
46. Тренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
47. Топ-15 прокси-сервисов 2025 года: Надёжные и быстрые
48. Бесплатные SOCKS5 прокси: список для США и Китая
49. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
50. Дроны - доставщики уже не фантастика, а часть современной логистики.