Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
2. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
3. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
4. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
5. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
6. С мужем поженились рано, родили дочку.
7. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
8. Американец с самым крошечным пенисом в мире на увеличение пошёл.
9. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
10. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
11. Холодный душ - это не просто способ проснуться быстро.
12. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
13. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
14. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
15. Мощная подкормка для овощей: секрет огромного количества завязей.
16. Привычные повседневные продукты от потребителей свою темную историю скрывают.
17. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
18. Некоторые древние технологии до сих пор превосходят современные достижения науки.
19. Российские власти введение дополнительной платы за VPN отложили.
20. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
21. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
22. Почему обеспеченные люди реже приложения для знакомств выбирают.
23. После того как рухнула советская власть, что сделали?
24. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
25. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
26. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
27. Священник стал маской, чтобы спасти детский приют и жизнь детей.
28. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
29. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
30. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
31. Фунчоза с овощами.
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
34. Про выращивание укропа.
35. Caлат "Пиковая Дама".
36. Маринованные помидоры с морковной ботвой.
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
39. Taкой арoматный и вкycный.
40. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
41. Какие лилии могут зимовать в грунте!
42. Как избавиться от грызунов на даче простыми средствами.
43. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
44. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
45. Срывать недозрелые плоды или ждать полной зрелости?
46. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
47. Эти малыши, размером 5-10 см.
48. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
49. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
50. Защита от муравьев.