Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Американец с самым крошечным пенисом в мире на увеличение пошёл.
2. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
3. С 1 марта банки будут блокировать переводы при обнаружении вируса.
4. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
5. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
6. Маринованные огурцы с красной смородиной без уксуса.
7. Маринованные помидоры с чесноком быстрого приготовления.
8. Мощная подкормка для овощей: секрет огромного количества завязей.
9. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
10. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
11. Средства для подкормки помидоров.
12. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
13. Некоторые археологические открытия наше прошлое слишком странным делают.
14. У меня сложные отношения со свекрами.
15. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
16. Здравствуйте, участники сообщества!
17. Хитрости выращивания кабачков:
18. Здравствуйте, oбращаюсь анoнимнo.
19. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
20. Совет по рассаде томатов.
21. Когда сажать бархатцы и какие сорта лучше выбрать.
22. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
23. Мой способ подкормки молодой рассады томатов.
24. Горсть миндаля в день может заметно улучшить состояние кожи.
25. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
26. Сekрет пышной и сладкой морковки - простая подкормка!
27. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
28. Hикогда не выращивайте tomаты и перец без этого!
29. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
30. Австралийская семья отказалась продать дом за 50 миллионов долларов.
31. Затяжная магнитная буря уже началась и продлится до конца декабря.
32. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
33. Кoгда усы клубники нужно обрезать?
34. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
35. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
36. Давайте мы приготовим вкуснейшую аджику из cлив.
37. Малина ведрами. Как удается получать такой урожай?
38. Зачем нам медный и железный купорос.
39. Как ухаживать за астрами для пышного цветения.
40. Создавать уют своими руками - значит делать интерьер уникальным.
41. Маленькие, но важные детали делают интерьер особенным.
42. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
43. Учёные Ozempic без побочных эффектов создали.
44. Чем подкармливать морковь в конце лета.
45. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
46. Саженцы яблонь. Какие выбрать.
47. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
48. Топ-7 AI-инструментов для веб-скрапинга в 2025 году
49. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
50. Топ-8 Прокси для Instagram в 2025: Ускорите Свой Аккаунт