Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Клубнику от долгоносика спасаю ещё до цветения.
2. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
3. 10 худших цветов для дачи.
4. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
5. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
6. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
7. Топ - 10 теневыносливых растений для вашего сада.
8. Помoгаем печени утpoм, днем и вечером!
9. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
10. Японские учёные о прорыве в борьбе с облысением заявили.
11. Ceйчас я делаю блинчики, которые тают во рту!
12. Нашатырь можно как хорошую подкормку для лука использовать.
13. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
14. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
15. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
16. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
17. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
18. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
19. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
20. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
21. Мы удобряeм сливу правильно!
22. Помoщь для пeчени.
23. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
24. Лучший способ хранения чеснока.
25. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
26. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
27. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
28. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
29. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
30. Создавать уют своими руками - значит делать интерьер уникальным.
31. Создавать своими руками - значит делать вещи особенными.
32. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
33. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
34. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
35. 5 лучших подкормок для огорода - проверено на практике.
36. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
37. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
38. Полное руководство по Instagram прокси 2025: как освоить социальные сети
39. Как правильно скрапить Instagram в 2025: Полное руководство
40. Внимание! Только в том случае, если вы тоже хотите такую красоту, то вот пара советов как вырастить гигантскую гортензию.
41. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
42. Здорово, дружище! Сейчас расскажу тебе, как правильно выбрать и подключить сифон - чтобы всё было надежно и без головной боли.
43. В Калифорнии местный житель снял на видео пугающую сцену, напоминающую кадры из фильмов об апокалипсисе.
44. В этом посте мы расскажем, как начать свой бизнес с нуля
45. Посетители вулкана спускаются вниз, когда на Этне началось извержение.
46. Культурная жизнь Москвы: музеи, театры и фестивали
47. Пластиковый пакет в среднем 10-15 минут используется.
48. Лучший прокси-сайт 2025: Обзор и рейтинг
49. Прокси-серверы: что это такое и как они работают
50. Основы работы с прямыми: ключевые принципы