Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. Общественные пространства окончательно шедевры непреднамеренного уличного идиотизма захватили.
3. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
4. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
5. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
6. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
7. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
8. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
9. Большая оранжевая тыква созрела ещё не обязательно.
10. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
11. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
12. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
13. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
14. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
15. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
16. В Египте экстренно отменили все популярные морские экскурсии.
17. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
18. Урологи из сша новую технологию увеличения разработали.
19. Завязей на томатах будет море, а фитофтора обойдёт стороной.
20. Haтуральные стимуляторы образования корней.
21. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
22. Работа в кровати незаметно здоровье человека разрушает.
23. Турецкий огуречный салат.
24. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
25. 10 растений с белыми цветами.
26. Токсичное поведение на работе может стать причиной увольнения.
27. Фунчоза с овощами.
28. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
29. "Фишка моей внешности в том, что я родилась старой.
30. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
31. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
32. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
33. Лепешки на кефире с начинкой.
34. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
35. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
36. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
37. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
38. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
39. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
40. Что нужно знать о перце:
41. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
42. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
43. И еxaть никуда не нaдо.
44. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
45. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
46. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
47. Маленькие, но важные детали делают интерьер особенным.
48. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
49. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
50. Чем мульчировать малину осенью для защиты корней?