Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
2. Твоё тело работает 24 часа в сутки без твоего участия.
3. Моя семья успешность отпуском у "Морюшка измеряет".
4. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
5. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
6. Сезон клубники в самом разгаре!
7. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
8. Мастурбация у птиц абсолютно естественным поведением оказалась.
9. В Японии открылся уникальный музей для всех ценителей женских ног.
10. Здравствуйте, участники сообщества!
11. Из параллельного импорта уберут западные ноутбуки.
12. Архивные фото Ирины шейк из юности.
13. В популярных духах обнаружили потенциально опасные вещества.
14. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
15. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
16. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
17. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
18. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
19. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
20. Cвeжий укроп всегда под рукoй.
21. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
22. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
23. Она растёт в каждом саду и называется ведьмина трава.
24. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
25. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
26. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
27. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
28. Caлат с куpицeй и aнанасами.
29. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
30. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
31. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
32. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
33. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
34. Клубника на подоконнике - аромат лета круглый год!
35. Полезная свекольная аджика на зиму.
36. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
37. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
38. С утра иногда так хочется выпить ароматного бодрящего кофе.
39. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
40. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
41. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
42. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
43. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
44. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
45. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
46. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
47. Вот ещё пару советов, как держать гриль чище.
48. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
49. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
50. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.