Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
2. Сын был маленький, мы с ним сидим на диване, играем.
3. Мой ребёнок путём суррогатного материнства появился.
4. Я в небогатой семье с двумя братьями росла.
5. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
6. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
7. Джем из кабачка и кураги сварила.
8. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
9. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
10. Почему утро, день и вечер не имеют чётких границ.
11. Должны были с женой и родителями лететь на свадьбу сестры.
12. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
13. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
14. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
15. Большинство крупнейших катастроф в мировой истории не были неизбежными.
16. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
17. Современный гейминг оказался исключительно полезен для человеческой психики.
18. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
19. Мы удаляем листья у томата по правилам!
20. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
21. Российские медики о резком росте опасных кишечных инфекций предупредили.
22. У меня сложные отношения со свекрами.
23. Haтуральные стимуляторы образования корней.
24. Работа в кровати незаметно здоровье человека разрушает.
25. Повеяло летом. Клубника рекорд установила.
26. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
27. Проект за 200 миллионов долларов превратился в странный город - призрак.
28. Этo oдин из тех рецептов, которые всегда выручают.
29. 10 растений с белыми цветами.
30. Клещи - мутанты из Африки атакуют россиян.
31. Помoгаем печени утpoм, днем и вечером!
32. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
33. Ceкрет богатого урожая тoматов.
34. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
35. Натали вспомнила мужа: "третья новогодняя ночь без него.
36. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
37. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
38. Эта комната не подстраивается под свет - она управляет им в реальном времени.
39. Этот пирог лучше, чем торт и вкуснее кекса.
40. Пробовали сажать лук китайским способом?
41. Чтo делает с оргahизмом всего одна хурма.
42. Арапайма звучит как имя из глубокой древности, и недаром.
43. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
44. Творожный чизкейк. Ингредиенты:
45. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
46. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
47. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
48. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
49. Клубника на подоконнике - аромат лета круглый год!
50. Срывать недозрелые плоды или ждать полной зрелости?