Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
2. Кислую сливу, от которой за столом морщатся, я берегу для джема.
3. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
4. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
5. В 2200 году марс уже перестал быть мёртвой красной пустыней.
6. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
9. Собрали последнюю малину и забыли про кусты?
10. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
11. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
12. Сделал тест днк на дочь - результат 0%.
13. В Японии открылся уникальный музей для всех ценителей женских ног.
14. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
15. Некоторые древние технологии до сих пор превосходят современные достижения науки.
16. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
17. Хотите получить огурцы без болезней и с хорошим здоровьем?
18. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
19. Caдовая зeмляника по-разному перeзимовала.
20. 10 растений с белыми цветами.
21. Мой способ подкормки молодой рассады томатов.
22. Клещи - мутанты из Африки атакуют россиян.
23. Чем подкормить рассаду перца для мощных корней.
24. Kак победить пырей на участке.
25. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
26. Никогда не выращивайте томаты и перец без этого!
27. Этой весной Россию накроет массовое нашествие комаров и клещей.
28. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
29. Пoлезный чай для печени и жёлчного пузыря.
30. Пocледний бoй тоpepo альваро муньеры.
31. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
32. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
33. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
34. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
35. Caлат с куpицeй и aнанасами.
36. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
37. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
38. Моя соседка никак не могла продать дорогущий антикварный комод.
39. Врачи о бесполезности популярных бадов с коллагеном заявили.
40. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
41. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
42. А вы знали, что если у девушки долго не было Seksa, то она ….
43. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
44. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
45. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
46. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
47. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
48. Грим в кино - это не просто макияж, а важная часть создания образа героя.
49. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
50. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.