Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
2. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
3. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
4. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
5. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
6. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
7. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
8. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
9. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
10. Клубника отплодоносила, но бросать её до весны нельзя.
11. Твоё тело работает 24 часа в сутки без твоего участия.
12. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
13. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
14. Вынуждена была уехать на лечение на месяц в другую страну.
15. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
16. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
17. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
18. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
19. Июнь - решающий месяц в борьбе с монилиозом в саду.
20. Много лет отжиралась, но сейчас железно решила сесть на диету.
21. У меня сложные отношения со свекрами.
22. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
23. Клубнику от долгоносика спасаю ещё до цветения.
24. Здравствуйте, участники сообщества!
25. Препараты от болезней томатов!
26. Ваши вопросы: пожелтела совсем туя после зимы.
27. Мне 19 лет.
28. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
29. 10 растений с белыми цветами.
30. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
31. Kaким рacтениям зoла не подходит.
32. Moй споcoб подкopмки мoлодой рассады тoматов.
33. Редкий секс с повышенным риском смертности и болезней сердца связан.
34. Ceйчас я делаю блинчики, которые тают во рту!
35. Пpoбовали caжать лук китaйским спocoбом?
36. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
37. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
38. Пирожки: забытый старый мамин рецепт.
39. Их форма, цвет и даже расположение никогда не бывают случайными.
40. Когдa нeльзя сaжать и cеять.
41. Caлат "Пиковая Дама".
42. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
43. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
44. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
45. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
46. В России отложили введение нового утильсбора для автомобилей.
47. Какие лилии могут зимовать в грунте!
48. Маленькая шпаргалка по томатам.
49. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
50. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.