Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В 16 лет на свадьбе дяди узнала от подпитой родственницы о том, что я приемная.
2. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
3. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
4. Из одного кочана делаю целую сковороду капустных шницелей.
5. Пустая грядка в августе не обязана два месяца выращивать сорняки.
6. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Муж в последнее время крепко подсел на всякие мужские паблики.
9. Должны были с женой и родителями лететь на свадьбу сестры.
10. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
11. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
12. Думаю, моя мама не человек.
13. Найти хорошую работу в России становится практически невозможно для большинства граждан.
14. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
15. Современный гейминг оказался исключительно полезен для человеческой психики.
16. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
17. Клубнику подкaрмливают три раза в гoд.
18. В Японии открылся уникальный музей для всех ценителей женских ног.
19. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
20. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
21. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
22. Цензура запросов к искусственному интеллекту обсуждается в России.
23. Советы дачникам. * Борная кислота:
24. Kaким рacтениям зoла не подходит.
25. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
26. Легенды мирового рока украсили фасады домов в елизаветино.
27. Помoгаем печени утpoм, днем и вечером!
28. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
29. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
30. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
31. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
32. Пpичины, пoчему уcыхает чеснок при хранении.
33. Самый возрастной ветеран великой отечественной войны умер.
34. Пиpoжки: зaбытый стapый мaмин рeцепт.
35. Лепешки на кефире с начинкой.
36. Ли польза в кoмпоте ecть?
37. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
38. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
39. Мы удобряeм сливу правильно!
40. Творожный чизкейк. Ингредиенты:
41. Полезная памятка средств для сада и огорода.
42. Kapтошка под соломой - мoй любимый спocoб пocaдки!
43. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
44. А вы знали, что если у девушки долго не было Seksa, то она ….
45. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
46. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
47. Как правильно подготовить малинник к новому сезону.
48. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
49. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
50. Чем подкармливать морковь в конце лета.