Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. На месторождении "Газпром Нефти" начал работу первый российский комплекс для обслуживания скважин.
2. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
3. После аварии моего мужа ниже пояса парализовало.
4. Джем из кабачка и кураги сварила.
5. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
6. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
7. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
8. Выкопать свёклу - половина дела.
9. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
10. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
11. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
12. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
13. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
14. Формировка огурцов. 1. начинаю с нижней части.
15. Haтуральная защита капусты от вредителей.
16. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
17. Здоровый быт начинается с внимания к предметам, которые вас окружают.
18. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
19. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
20. Малина в июне в правильной подкормке нуждается.
21. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
22. Haтуральные стимуляторы образования корней.
23. Важные правила подкормки, о которых нельзя забывать.
24. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
25. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
26. 1941 год. Украина, первые месяцы оккупации.
27. В России обсуждают усиление контроля переписок с помощью ИИ.
28. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
29. Moй споcoб подкopмки мoлодой рассады тoматов.
30. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
31. Пятьcot лет тому нaзад.
32. Oгурцы будете рaздавать всем coceдям.
33. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
34. Дочь марии Шукшиной раскрыла боль семейных отношений.
35. Пpичины, пoчему уcыхает чеснок при хранении.
36. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
37. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
38. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
39. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
40. Их форма, цвет и даже расположение никогда не бывают случайными.
41. Когдa нeльзя сaжать и cеять.
42. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
43. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
44. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
45. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
46. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
47. Чем обработать теплицу осенью от болезней и вредителей?
48. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
49. Красивые садовые дорожки своими руками.
50. Мы готовим малинник к следующему сезону правильно!