Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
2. Пустая грядка в августе не обязана два месяца выращивать сорняки.
3. Твоё тело работает 24 часа в сутки без твоего участия.
4. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
5. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
6. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
7. Я не худею к морю - езжу в Турцию.
8. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
9. Дочку с самого детства учила нести ответственность за свои поступки.
10. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
11. Некоторые археологические открытия наше прошлое слишком странным делают.
12. Роза осирия - магия двух оттенков.
13. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
14. Сон при свете повышает риск ожирения.
15. Натуральные стимуляторы образования корней.
16. Здравствуйте, oбращаюсь анoнимнo.
17. У китайцев принято чавкать.
18. Полёты к луне снова реальностью спустя десятилетия стали.
19. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
20. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
21. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
22. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
23. Почeму чеснoк при хранении усыхает.
24. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
25. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
26. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
27. Hикогда не выращивайте tomаты и перец без этого!
28. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
29. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
30. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
31. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
32. Мы применяем просроченные лекарства.
33. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
34. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
35. Ни один шашлычек у нас не обходят без этой закуски!
36. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
37. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
38. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
39. Чем обработать теплицу осенью от болезней и вредителей?
40. Яркий акцент для сада.
41. Секс помогает улучшать память - к такому выводу пришли американские учёные.
42. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
43. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
44. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
45. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
46. Аптечка для ваших растений.
47. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
48. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
49. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
50. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов