Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
2. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
3. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. Долго планировали с мужем переезд, нашли жилье.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
8. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
9. Думаю, моя мама не человек.
10. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
11. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
12. Дочку с самого детства учила нести ответственность за свои поступки.
13. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
14. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
15. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
16. Моего кота зовут заяц.
17. В Египте экстренно отменили все популярные морские экскурсии.
18. Лиcтья свернулись и побелели после высадки в теплицу.
19. Северная Корея правила ядерного ответа страны изменила.
20. Плитка из ведерка от майонеза: дачный шик своими руками.
21. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
22. Работа в кровати незаметно здоровье человека разрушает.
23. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
24. Одни из первых протезов использовали ещё в эпоху древнего Рима.
25. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
26. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
27. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
28. Cвeжий укроп всегда под рукoй.
29. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
30. Oгурцы будете рaздавать всем coceдям.
31. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
32. Фигуру дочки Маликова бурно обсуждают в Сети.
33. Австралийская семья отказалась продать дом за 50 миллионов долларов.
34. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
35. Эта комната не подстраивается под свет - она управляет им в реальном времени.
36. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
37. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
38. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
39. Уже давно делаю по этому рецепту!
40. Пурпурная малина - настоящая Находка для вашего сада!
41. Яркий акцент для сада.
42. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
43. Маленькая шпаргалка по томатам.
44. Красивые садовые дорожки своими руками.
45. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
46. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
47. Эти малыши, размером 5-10 см.
48. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
49. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
50. Вот ещё пару советов, как держать гриль чище.