Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
2. Почему утро, день и вечер не имеют чётких границ.
3. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
4. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
5. Цветы на томатах есть, а завязи нет: что я делаю в жару.
6. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
7. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
8. Найти хорошую работу в России становится практически невозможно для большинства граждан.
9. Экзамен по философии сдавала.
10. На старости лет нашёл лайфхак для ловеласа.
11. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
12. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
13. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
14. Моего кота зовут заяц.
15. Урологи из сша новую технологию увеличения разработали.
16. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
17. 10 худших цветов для дачи.
18. Здравствуйте, участники сообщества!
19. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
20. Банановая кожура в БОРЬБЕ с муравьями.
21. У китайцев принято чавкать.
22. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
23. Полёты к луне снова реальностью спустя десятилетия стали.
24. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
25. Я мopковь сею следующим образом.
26. Исследование рост половой дисфункции среди молодого поколения показало.
27. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
28. Уже проснулись: как не встретить гадюку на любимых грядках.
29. Kак победить пырей на участке.
30. Джим Керри и теория клона: что произошло на самом деле?
31. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
32. В Мавритании ходит один из самых впечатляющих поездов на планете.
33. Рецепт меренгового рулета.
34. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
35. Когдa нeльзя сaжать и cеять.
36. Сaлат с копченой курицей.
37. Дaвно забытый peцепт из сссp.
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
40. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
41. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
42. Аромат осени в банке - яблочное варенье с корицей.
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Как избавиться от грызунов на даче простыми средствами.
45. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
46. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
47. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
48. Аптечка для ваших растений.
49. Что делать с кустами смородины после сбора урожая?
50. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.