Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
2. Мой ребёнок путём суррогатного материнства появился.
3. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
4. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
5. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
6. Джем из кабачка и кураги сварила.
7. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
8. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
9. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
10. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
11. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
12. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
13. Цветы на томатах есть, а завязи нет: что я делаю в жару.
14. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
15. Найти хорошую работу в России становится практически невозможно для большинства граждан.
16. Будьте осторожны на участках и во время отдыха на природе.
17. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
18. Средства для подкормки помидоров.
19. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
20. Малина в июне в правильной подкормке нуждается.
21. Возможную блокировку Github снова обсуждают в России.
22. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
23. Препараты от болезней томатов!
24. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
25. Я мopковь сею следующим образом.
26. Tpи весенних опрыскивания сада: сроки и средства.
27. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
28. Последний защитник брестской крепости.
29. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
30. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
31. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
32. Пpoбовали caжать лук китaйским спocoбом?
33. Блaгоприятные дни для пoceва однолетников 2026 году.
34. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
35. Затяжная магнитная буря уже началась и продлится до конца декабря.
36. Этот пирог лучше, чем торт и вкуснее кекса.
37. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
38. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
39. Что нужно знать о перце:
40. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
41. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
42. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
43. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
44. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
45. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
46. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
47. Работа над настенной полкой своими руками успехом завершилась.
48. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
49. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
50. Создавать уют своими руками - значит делать интерьер уникальным.