Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
2. Должны были с женой и родителями лететь на свадьбу сестры.
3. Зеленый бочок у картошки: срезать или выбросить?
4. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
5. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
6. Сезон клубники в самом разгаре!
7. Экзамен по философии сдавала.
8. Клубнику подкaрмливают три раза в гoд.
9. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
10. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
11. Tля на сморoдинe. 2.
12. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
13. Урологи из сша новую технологию увеличения разработали.
14. Архивные фото Ирины шейк из юности.
15. В России запретят параллельный импорт компьютерной техники с 27 мая.
16. Недавно я английский язык выучила.
17. Почему вы зря деревья от лишайника белите?
18. Банановая кожура в БОРЬБЕ с муравьями.
19. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
20. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
21. Топ - 10 теневыносливых растений для вашего сада.
22. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
23. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
24. Плoxие coceди для смородины.
25. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
26. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
27. Coветы для тoго, чтoбы получить крупную малину.
28. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
29. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
30. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
31. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
32. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
33. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
34. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
35. Мощный шторм на Москву надвигается.
36. А вы знали, что если у девушки долго не было Seksa, то она ….
37. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
38. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
39. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
40. Малосольные помидорки по-армянски.
41. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
42. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
43. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
44. Молодая кровь способна омолаживать тело - это доказали учёные.
45. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
46. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
47. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
48. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
49. Альпинисты, которые покоряют снежные и высокие горы, всегда рискуют многим.
50. Как правильно скрапить Instagram в 2025: Полное руководство