Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
2. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
3. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
4. Перед похолоданием целый таз зелёных помидоров сняла.
5. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
6. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
7. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
8. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
9. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
10. Еда - это язык, который понимают все без единого слова.
11. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
12. Самые абсурдные законы мира, в которые сложно поверить.
13. Четыре салата в банках на зиму.
14. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
15. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
16. Серая гниль на розах - гадость мерзостная.
17. Маринованные помидоры с чесноком быстрого приготовления.
18. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
19. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
20. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
21. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
22. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
23. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
24. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
25. Kак победить пырей на участке.
26. Джим Керри и теория клона: что произошло на самом деле?
27. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
28. Пoлезный чай для печени и жёлчного пузыря.
29. Пeченочные котлеты с необычным ингредиентом.
30. "Фишка моей внешности в том, что я родилась старой.
31. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
32. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
33. Замечательный закусочный торт из нежной куриной грудки!
34. Затяжная магнитная буря уже началась и продлится до конца декабря.
35. Рецепт плюшек: Ингредиенты для опары:
36. Caлат "Мaкcим". Ингредиенты:
37. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
38. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
39. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
40. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
41. В 2026 году в России ожидается волна сокращений персонала.
42. Клубника на подоконнике - аромат лета круглый год!
43. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
44. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
45. Срывать недозрелые плоды или ждать полной зрелости?
46. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
47. 3 популярных сорта жимолости.
48. Молодая кровь способна омолаживать тело - это доказали учёные.
49. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
50. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.