Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Недавно узнала, что у матери туберкулёз открытой формы.
2. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
3. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
4. Я в небогатой семье с двумя братьями росла.
5. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
6. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
7. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
8. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
9. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
10. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
11. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
12. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
13. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
14. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
15. Зеленый бочок у картошки: срезать или выбросить?
16. Что будет с землёй, если солнце внезапно исчезнет.
17. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
18. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
19. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
20. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
21. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
22. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
23. Экзамен по философии сдавала.
24. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
25. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
26. Без иронии, вначале попробуйте, это очень вкусный напиток.
27. Завязей на томатах будет море, а фитофтора обойдёт стороной.
28. Нарциссизм всё чаще связывают именно с генетикой.
29. Опасный хантавирус за пределы лайнера вышел.
30. Недавно я английский язык выучила.
31. Ваши вопросы: пожелтела совсем туя после зимы.
32. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
33. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
34. Нетипичные плодовые культуры для северного сада.
35. Пpичины, пoчему уcыхает чеснок при хранении.
36. Топ - 5 самых неприхотливых сортов перца.
37. Натали вспомнила мужа: "третья новогодняя ночь без него.
38. Caлат с куpицeй и aнанасами.
39. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
40. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
41. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
42. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
43. Ни один шашлычек у нас не обходят без этой закуски!
44. Мы не дадим слизням перезимовать!
45. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
46. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
47. Казалось бы, простая рамка для фото.
48. Малосольные помидорки по-армянски.
49. Чем мульчировать малину осенью для защиты корней?
50. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.