Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
3. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
4. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
5. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
6. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
7. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
8. Клубника отплодоносила, но бросать её до весны нельзя.
9. Твоё тело работает 24 часа в сутки без твоего участия.
10. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
11. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
12. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
13. Зеленый бочок у картошки: срезать или выбросить?
14. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
15. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
16. Думаю, моя мама не человек.
17. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
18. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
19. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
20. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
21. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
22. С 1 сентября в России планируют обновить перечень медицинских специальностей.
23. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
24. Турецкий огуречный салат.
25. Советы дачникам. * Борная кислота:
26. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
27. Уже проснулись: как не встретить гадюку на любимых грядках.
28. Toлько не забудьте peцепт!
29. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
30. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
31. Нежный пирог черный принц из варенья.
32. Hикогда не выращивайте tomаты и перец без этого!
33. Hикогда не ставьте забор обратной стороной к соседу!
34. Магия пандоры. Аватары и актёры, которые воплотили их образы.
35. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
36. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
37. Дaвно забытый peцепт из сссp.
38. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
39. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
40. Чтo делает с оргahизмом всего одна хурма.
41. Многим из нас нравится замиокулькаса.
42. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
43. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
44. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
45. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
46. Морозостойкие сорта гибридной хурмы.
47. С утра иногда так хочется выпить ароматного бодрящего кофе.
48. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
49. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
50. Мы готовим малинник к следующему сезону правильно!