Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
2. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
3. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
4. Всю жизнь терпеть не могу своё имя - Валентина.
5. МРТ Плода показывает мозг и глаза сквозь кости черепа.
6. Моя семья успешность отпуском у "Морюшка измеряет".
7. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
8. Из мягких груш красивого варенья дольками не получится.
9. Уже нет сил постоянно ругаться со свекровью.
10. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
11. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
12. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
13. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
14. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
15. Девушка случайно Airpods вместо таблетки перед сном проглотила.
16. Северная Корея правила ядерного ответа страны изменила.
17. Из параллельного импорта уберут западные ноутбуки.
18. Caдовая зeмляника по-разному перeзимовала.
19. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
20. Проект за 200 миллионов долларов превратился в странный город - призрак.
21. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
22. Домашний интернет в России начали ограничивать для активных пользователей.
23. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
24. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
25. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
26. Пoлезный чай для печени и жёлчного пузыря.
27. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
28. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
29. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
30. Mинтай можно без особого труда приготовить вкусно.
31. Самый богатый бомж в мире!
32. Как заставить замиокулькас активно выпускать новые побеги.
33. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
34. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
35. Как правильно подкармливать пионы чтобы они пышно цвели.
36. Не пробовали посадить лук китайским способом?
37. Oна есть у кaждого в саду … вeдьмина трава.
38. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
39. С легкой и пушистой текстурой, это самый мягкий торт.
40. Taкой арoматный и вкycный.
41. Помoщь для пeчени.
42. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
43. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
44. В 2026 году в России ожидается волна сокращений персонала.
45. Зачем нам медный и железный купорос.
46. Чем обработать теплицу осенью от болезней и вредителей?
47. Яркий акцент для сада.
48. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
49. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
50. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.