Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
2. В Дубае существует район, который кажется ошибкой самой реальности.
3. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
4. Маринованные огурцы с красной смородиной без уксуса.
5. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
6. Июнь - решающий месяц в борьбе с монилиозом в саду.
7. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
8. Нарциссизм всё чаще связывают именно с генетикой.
9. Препараты от болезней томатов!
10. История любви из разных миров покорила интернет.
11. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
12. Здравствуйте, oбращаюсь анoнимнo.
13. У китайцев принято чавкать.
14. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
15. Полёты к луне снова реальностью спустя десятилетия стали.
16. 10 растений с белыми цветами.
17. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
18. Исследование рост половой дисфункции среди молодого поколения показало.
19. Картофельные ростки: золотой актив, который вы зря выбрасывали!
20. Никогда не выращивайте томаты и перец без этого!
21. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
22. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
23. Рецепт меренгового рулета.
24. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
25. Oбычный лавровый лист заставит комнатные растения пышно цвести.
26. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
27. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
28. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
29. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
30. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
31. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
32. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
33. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
34. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
35. Многим из нас нравится замиокулькаса.
36. С легкой и пушистой текстурой, это самый мягкий торт.
37. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
38. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
39. Мощный шторм на Москву надвигается.
40. Это лучшее, что я когда-либо ела!
41. Разбираемся как бороться с червяками на малине.
42. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
43. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
44. Создавать своими руками - значит делать вещи особенными.
45. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
46. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
47. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
48. Топ-13 расширений Chrome для веб-скраппинга в 2025 году: обзор и рекомендации
49. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
50. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов