Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Chatgpt часто выдаёт банальности, потому что запрос оставляет слишком много свободы.
2. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
3. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
4. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
5. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
6. Родила дочь в свой день рождения.
7. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
8. Открыла вчера тыкву, а она оказалась огромной.
9. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
10. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
11. Дeлaю yжe втopую нeдeлю.
12. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
13. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
14. На море вляпалась в курортный роман.
15. Работаю в банке.
16. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
17. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
18. Девушка случайно Airpods вместо таблетки перед сном проглотила.
19. Tля на сморoдинe. 2.
20. Российские власти введение дополнительной платы за VPN отложили.
21. Когда-то давно у меня был кот с сумасшедшим характером.
22. Что я делаю с чесноком, чтобы он снова стал зелёным.
23. Северная Корея правила ядерного ответа страны изменила.
24. Почему желтеет лук и чеснок и как быстро их "Оживить".
25. Турецкий огуречный салат.
26. Как буддийские монахи вышли на протест и столкнулись с полицией.
27. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
28. Последний защитник брестской крепости.
29. Топ - 7 наборов семян, которые должны быть у каждого!
30. HE поливайте, когда земля сухая!
31. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
32. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
33. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
34. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
35. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
36. Австралийская семья отказалась продать дом за 50 миллионов долларов.
37. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
38. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
39. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
40. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
41. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
42. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
43. Как ухаживать за астрами для пышного цветения.
44. Создавать своими руками - значит делать вещи особенными.
45. Срывать недозрелые плоды или ждать полной зрелости?
46. Кто сказал, что шестиугольники только у пчёл?
47. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
48. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
49. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
50. Эти малыши, размером 5-10 см.