Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Я в небогатой семье с двумя братьями росла.
3. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
4. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
5. После уборки чеснока всегда остаются повреждённые головки.
6. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
7. Американец с самым крошечным пенисом в мире на увеличение пошёл.
8. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
9. Чем заболела груша и как ее лечить?
10. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
11. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
12. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
13. На море вляпалась в курортный роман.
14. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
15. Мы удаляем листья у томата по правилам!
16. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
17. Я не люблю формулировку "мы Встречаемся".
18. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
19. Работа в кровати незаметно здоровье человека разрушает.
20. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
21. Здравствуйте, oбращаюсь анoнимнo.
22. Повеяло летом. Клубника рекорд установила.
23. Почему нужно срезать верхушки у яблонь.
24. В Алматы установили памятник истории спасения собаки живой цепью.
25. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
26. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
27. Нежный пирог черный принц из варенья.
28. Самые полезные виды варенья.
29. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
30. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
31. Пиpoжки: зaбытый стapый мaмин рeцепт.
32. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
33. Топ - 5 самых неприхотливых сортов перца.
34. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
35. Очищение сосудов головного мозга.
36. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
37. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
38. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
39. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
40. Ни один шашлычек у нас не обходят без этой закуски!
41. Это закуска на любом застолье на ура уходит!
42. Уже давно делаю по этому рецепту!
43. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
44. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
45. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
46. Секс помогает улучшать память - к такому выводу пришли американские учёные.
47. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
48. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
49. Эти малыши, размером 5-10 см.
50. Вкусный рецепт бургера с курочкой.