Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Лоис гибсон превратила карандаш в инструмент поимки преступников.
2. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
3. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
4. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
5. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
6. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
7. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
8. В нашей семье все склонны к полноте.
9. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
10. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
11. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
12. Как-то довелось быть свидетелем диалога двух дачниц.
13. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
14. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
15. Так томаты в теплицу не просто так высаживают.
16. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
17. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
18. Гигантский астероид скоро рядом с землёй пройдёт.
19. Пятый рабочий день полностью неэффективным оказался.
20. Первая обработка сада от паразитов весной: полный гайд.
21. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
22. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
23. Kак победить пырей на участке.
24. Никогда не выращивайте томаты и перец без этого!
25. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
26. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
27. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
28. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
29. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
30. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
31. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
32. Нашатырь можно как хорошую подкормку для лука использовать.
33. Топ - 5 самых неприхотливых сортов перца.
34. Натали вспомнила мужа: "третья новогодняя ночь без него.
35. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
36. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
37. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
38. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
39. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
40. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
41. Oна есть у кaждого в саду … вeдьмина трава.
42. Этот робот не просто убирает ваш дом - он его изучает.
43. Давайте мы приготовим вкуснейшую аджику из cлив.
44. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
45. Россиян ожидает резкое повышение тарифов на электроэнергию.
46. Мощный шторм на Москву надвигается.
47. Конечно! Вот классический рецепт варенья из яблок с апельсином:
48. Полезная свекольная аджика на зиму.
49. Секрет крупного озимого чеснока - простая подкормка при посадке!
50. Острый соус, который можно замораживать.