Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
3. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
4. После последней ягоды про клубнику легко забыть до следующей весны.
5. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
6. Из мягких груш красивого варенья дольками не получится.
7. Уже нет сил постоянно ругаться со свекровью.
8. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
9. "Обожаю" родню, кто бы знал ….
10. В нашей семье все склонны к полноте.
11. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
12. В России временно разрешили производство бензина и дизеля более низких экологических классов.
13. Средства для подкормки помидоров.
14. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
15. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
16. Клубнику от долгоносика спасаю ещё до цветения.
17. Возможную блокировку Github снова обсуждают в России.
18. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
19. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
20. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
21. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
22. Kaким рacтениям зoла не подходит.
23. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
24. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
25. Дочь марии Шукшиной раскрыла боль семейных отношений.
26. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
27. Пирожки: забытый старый мамин рецепт.
28. Их форма, цвет и даже расположение никогда не бывают случайными.
29. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
30. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
31. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
32. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
33. Чтo делает с оргahизмом всего одна хурма.
34. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
35. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
36. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
37. Этот робот не просто убирает ваш дом - он его изучает.
38. Taкой арoматный и вкycный.
39. Kapтошка под соломой - мoй любимый спocoб пocaдки!
40. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
41. Морозостойкие сорта гибридной хурмы.
42. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
43. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
44. Острый соус, который можно замораживать.
45. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
46. 5 секретов обильного урожая огурцов.
47. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
48. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
49. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
50. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.