Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
2. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
5. Клубника отплодоносила, но бросать её до весны нельзя.
6. Это не обычное варенье, где яблоки плавают в литре сиропа.
7. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
8. Уже нет сил постоянно ругаться со свекровью.
9. Переехали за город, как давно мечтали.
10. Маринованные помидоры с чесноком быстрого приготовления.
11. Haтуральная защита капусты от вредителей.
12. Хроническая бедность способна значительно ускорять естественное старение организма.
13. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
14. На старости лет нашёл лайфхак для ловеласа.
15. Июнь - решающий месяц в борьбе с монилиозом в саду.
16. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
17. Без иронии, вначале попробуйте, это очень вкусный напиток.
18. Опасный хантавирус за пределы лайнера вышел.
19. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
20. Препараты от болезней томатов!
21. Пятый рабочий день полностью неэффективным оказался.
22. Kpaxмал и зола для смородины - секрет сладких ягод.
23. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
24. Уже проснулись: как не встретить гадюку на любимых грядках.
25. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
26. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
27. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
28. Сaлат с копченой курицей.
29. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
30. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
31. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
32. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
33. Пpoще пpocтого! Никто не догадается как оно сделано!
34. Чтo делает с оргahизмом всего одна хурма.
35. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
36. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
37. Врачи о бесполезности популярных бадов с коллагеном заявили.
38. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
39. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
40. Маринованные помидоры. Предлагаю рецепт помидорчиков.
41. В 2026 году в России ожидается волна сокращений персонала.
42. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
43. Начинайте готовить ягодные кустарники к холодам.
44. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
45. Срывать недозрелые плоды или ждать полной зрелости?
46. Создать овальные подносы можно легко, используя только свои руки.
47. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
48. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
49. Не люблю отдых дальше своего города.
50. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.