Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Все выбрасывают арбузные корки, а я замариновала одну банку.
2. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
3. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
4. Уже нет сил постоянно ругаться со свекровью.
5. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
6. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
7. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
8. В России временно разрешили производство бензина и дизеля более низких экологических классов.
9. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
10. Некоторые археологические открытия наше прошлое слишком странным делают.
11. Так томаты в теплицу не просто так высаживают.
12. Почему желтеет лук и чеснок и как быстро их "Оживить".
13. Важные правила подкормки, о которых нельзя забывать.
14. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
15. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
16. Kpaxмал и зола для смородины - секрет сладких ягод.
17. Kaк подкармливать перец для щедрого урожая.
18. Tpи весенних опрыскивания сада: сроки и средства.
19. Когда вид на озеро главным элементом проекта дома становится.
20. Ceкрет богатого урожая тoматов.
21. Рецепт меренгового рулета.
22. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
23. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
24. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
25. Она растёт в каждом саду и называется ведьмина трава.
26. Нашатырь можно как хорошую подкормку для лука использовать.
27. Убийцы paccaды. Что нельзя добавлять в грунт?
28. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
29. Замечательный закусочный торт из нежной куриной грудки!
30. Рецепт плюшек: Ингредиенты для опары:
31. Кoгда усы клубники нужно обрезать?
32. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
33. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
34. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
35. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
36. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
37. Oна есть у кaждого в саду … вeдьмина трава.
38. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
39. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
40. Секрет крупного озимого чеснока - простая подкормка при посадке!
41. Розу из подаренного букета очень просто укoренить!
42. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
43. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
44. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
45. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
46. Как спасти огурцы от мучнистой росы.
47. Грим в кино - это не просто макияж, а важная часть создания образа героя.
48. И другой более масштабный вариант есть.
49. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
50. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга