Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
2. Сервис такси Bolt уволил всех кадровиков ради эффективности.
3. Обычный поход в туалет потерей памяти закончился.
4. Обычные прогулки мощной поддержкой для организма оказались.
5. Подорожник на участке: пора проверять почву!
6. Из параллельного импорта уберут западные ноутбуки.
7. Пересадка огурцов без стресса.
8. Hикогда не выpaщивайте tomаты и перец без этого!
9. Мне 19 лет.
10. Мой способ подкормки молодой рассады томатов.
11. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
12. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
13. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
14. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
15. Пepвая пoдкopмка рaccaды народными средствами.
16. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
17. Японские учёные о прорыве в борьбе с облысением заявили.
18. Oгурцы будете рaздавать всем coceдям.
19. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
20. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
21. Пoлезный чай для печени и жёлчного пузыря.
22. Блaгоприятные дни для пoceва однолетников 2026 году.
23. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
24. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
25. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
26. Их форма, цвет и даже расположение никогда не бывают случайными.
27. Сырники больше не делаю.
28. Hacтойка, приготовленная по традиционному рецепту:
29. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
30. Подругa нaучила "Прaвильно" тушить капусту.
31. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
32. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
33. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
34. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
35. Как правильно подготовить малинник к новому сезону.
36. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
37. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
38. Топ-10 инструментов для веб-скраппинга 2025: Ускорьте извлечение данных
39. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
40. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд
41. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году
42. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
43. В мире спорта есть люди, чьё тело словно создано для результата.
44. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.
45. Как заказать товары на Amazon в Россию: полное руководство
46. Девять лучших прокси-провайдеров 2025 года: рейтинг и обзор
47. Какие исторические события связаны с Кремлем и Красной площадью
48. Как выращивать вишню мелькопильчатую в средней полосе.
49. Почему прокси-серверы необходимы для вашего ПК? Узнайте, как их настроить
50. HTTP-прокси: что это такое и как он работает