Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
2. Все выбрасывают арбузные корки, а я замариновала одну банку.
3. После уборки чеснока всегда остаются повреждённые головки.
4. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
5. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
6. Это не обычное варенье, где яблоки плавают в литре сиропа.
7. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
8. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
9. Популярные суши и роллы официально признали настоящим суперфудом.
10. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
11. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
12. В Египте экстренно отменили все популярные морские экскурсии.
13. Российские власти введение дополнительной платы за VPN отложили.
14. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
15. Когда сажать бархатцы и какие сорта лучше выбрать.
16. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
17. Исследование рост половой дисфункции среди молодого поколения показало.
18. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
19. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
20. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
21. Легенды мирового рока украсили фасады домов в елизаветино.
22. Никогда не выращивайте томаты и перец без этого!
23. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
24. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
25. Ceкрет богатого урожая тoматов.
26. Oгурцы будете рaздавать всем coceдям.
27. Ha втopoй день ещё вкуснее.
28. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
29. На заметку садоводам.
30. Пробовали сажать лук китайским способом?
31. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
32. Подругa нaучила "Прaвильно" тушить капусту.
33. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
34. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
35. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
36. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
37. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
38. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
39. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
40. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
41. Красивые садовые дорожки своими руками.
42. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
43. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
44. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
45. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
46. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
47. Лучшие API и инструменты для веб-скраппинга 2025: что выбрать
48. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
49. Top 40 инструментов для веб-скрапинга в 2025: что нового
50. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.