Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
2. Когда-то давно у меня был кот с сумасшедшим характером.
3. Клубнику от долгоносика спасаю ещё до цветения.
4. Турецкий огуречный салат.
5. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
6. Сamые удачные сорта моркови на 2026 год.
7. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
8. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
9. Мне 19 лет.
10. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
11. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
12. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
13. Обычный лавровый лист заставит комнатные растения пышно цвести.
14. Самые полезные виды варенья.
15. Hикогда не ставьте забор обратной стороной к соседу!
16. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
17. Пиpoжки: зaбытый стapый мaмин рeцепт.
18. Про выращивание укропа.
19. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
20. Очищение сосудов головного мозга.
21. Что нужно знать о перце:
22. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
23. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
24. Творожный чизкейк. Ингредиенты:
25. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
26. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
27. Топ - 5 идей для уюта на даче осенью.
28. Малосольные помидорки по-армянски.
29. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
30. Вот ещё пару советов, как держать гриль чище.
31. Перед шоу Дронов в Катаре тщательная подготовка проходит.
32. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
33. Лучшие API и инструменты для веб-скраппинга 2025: что выбрать
34. Как правильно скрапить Instagram в 2025: Полное руководство
35. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
36. Топ-16 лучших прокси для Reddit в 2025 году: рейтинг и обзор
37. Растяжка часто остаётся в тени тренировок, но играет ключевую роль в здоровье тела.
38. Какие музеи наиболее популярны среди туристов
39. Свежие прокси за последнюю минуту: самые актуальные адреса
40. Здорово, дружище! Сейчас расскажу тебе, как правильно выбрать и подключить сифон - чтобы всё было надежно и без головной боли.
41. Народные методы избавления от травы на садовых дорожках:
42. Как использовать дачное пространство по максимуму!
43. Как покупать на Амазоне: пошаговое руководство
44. Какая история стоит за созданием главной площади города
45. Как приготовить питательную почвосмесь для любой рассады.
46. Лучшие сервисы по продаже мобильных прокси: рейтинг и обзор
47. Топ-13 Прокси-Сервисов для Безопасного Серфинга в Сети
48. 15 супер - рецептов из помидоров.
49. Лучшие цветы для выращивания на перголе.
50. Какие активности можно провести в парках Москвы