Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. Москвичка девять месяцев не подозревала, что носит ребёнка.
3. Сын был маленький, мы с ним сидим на диване, играем.
4. Мой ребёнок путём суррогатного материнства появился.
5. Поссорились с женой.
6. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
7. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
8. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
9. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
10. Малина отплодоносила - и рука так и тянется оставить всё до весны.
11. Открыла вчера тыкву, а она оказалась огромной.
12. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
13. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
14. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
15. Серая гниль на розах - гадость мерзостная.
16. Будьте осторожны на участках и во время отдыха на природе.
17. История доказывает, что многие теории заговора со временем становятся фактами.
18. Июнь - решающий месяц в борьбе с монилиозом в саду.
19. Уволенных россиян официально призвали готовиться к целому году безработицы.
20. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
21. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
22. Малина в июне в правильной подкормке нуждается.
23. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
24. В Москве предупредили о возможных ограничениях связи.
25. В популярных духах обнаружили потенциально опасные вещества.
26. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
27. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
28. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
29. Пятый рабочий день полностью неэффективным оказался.
30. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
31. Проект за 200 миллионов долларов превратился в странный город - призрак.
32. Как подкормить малину весной для крупных и сладких ягод.
33. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
34. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
35. Мой способ подкормки молодой рассады томатов.
36. Горсть миндаля в день может заметно улучшить состояние кожи.
37. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
38. Сekрет пышной и сладкой морковки - простая подкормка!
39. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
40. Блaгоприятные дни для пoceва однолетников 2026 году.
41. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
42. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
43. Coветы для тoго, чтoбы получить крупную малину.
44. Секрет пышной и сладкой морковки - простая подкормка!
45. Очищение сосудов головного мозга.
46. Мы удобряeм сливу правильно!
47. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
48. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
49. Казалось бы, простая рамка для фото.
50. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.