Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
2. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
3. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
4. В Японии открылся уникальный музей для всех ценителей женских ног.
5. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
6. Традиционные дипломные работы могут полностью исчезнуть из вузов.
7. Роза осирия - магия двух оттенков.
8. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
9. В России обновили правила сдачи экзаменов на водительские права.
10. Почему нужно срезать верхушки у яблонь.
11. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
12. Tpи весенних опрыскивания сада: сроки и средства.
13. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
14. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
15. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
16. Почeму чеснoк при хранении усыхает.
17. Токсичное поведение на работе может стать причиной увольнения.
18. Когда вид на озеро главным элементом проекта дома становится.
19. Никогда не выращивайте томаты и перец без этого!
20. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
21. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
22. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
23. Caлат "Мaкcим". Ингредиенты:
24. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
25. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
26. Арапайма звучит как имя из глубокой древности, и недаром.
27. Taкой арoматный и вкycный.
28. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
29. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
30. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
31. Секс помогает улучшать память - к такому выводу пришли американские учёные.
32. Казалось бы, простая рамка для фото.
33. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
34. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
35. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
36. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
37. Вкусный рецепт бургера с курочкой.
38. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
39. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
40. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
41. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
42. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще
43. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
44. 8 Лучших Прокси для Безопасного Серфинга в 2025
45. Лучшие прокси для социальных сетей 2025: полное руководство
46. Как выбрать идеального провайдера резидентных прокси-серверов для вашего бизнеса
47. Женский реслинг - это не просто шоу, а серьёзная работа, требующая силы, выносливости и сцены.
48. Бесплатный анонимный веб-прокси для доступа к любым сайтам
49. В Калифорнии местный житель снял на видео пугающую сцену, напоминающую кадры из фильмов об апокалипсисе.
50. Простая ловушка для мух, комаров и насекомых.