Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. К 2050 году привычная жизнь может превратиться в научную фантастику.
2. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
3. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
4. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
5. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
6. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
7. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
8. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
9. После уборки чеснока всегда остаются повреждённые головки.
10. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
11. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
12. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
13. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
14. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
15. В нашей семье все склонны к полноте.
16. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
17. Про проветривание теплицы.
18. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
19. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
20. Работаю в банке.
21. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
22. Я любовник замужней женщины.
23. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
24. Традиционные дипломные работы могут полностью исчезнуть из вузов.
25. Малина в июне в правильной подкормке нуждается.
26. Когда-то давно у меня был кот с сумасшедшим характером.
27. Я не люблю формулировку "мы Встречаемся".
28. Почему обеспеченные люди реже приложения для знакомств выбирают.
29. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
30. Кейсы в CS2 и паки Fifa предложили запретить в России.
31. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
32. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
33. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
34. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
35. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
36. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
37. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
38. Пoчему лук стoит caжать в клyбнике.
39. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
40. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
41. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
42. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
43. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
44. Как избавиться от грызунов на даче простыми средствами.
45. Сердце в словах: почему мы так любим любовные романы
46. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
47. В московских клиниках лечение на современном оборудовании нормой стало.
48. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
49. Молодая кровь способна омолаживать тело - это доказали учёные.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.