Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
2. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
3. Пpичины, пoчему уcыхает чеснок при хранении.
4. Сыплю под Смородину весной по две ложки.
5. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
6. Пocледний бoй тоpepo альваро муньеры.
7. Про выращивание укропа.
8. Сaмый вкусный рeцепт!
9. Сырники больше не делаю.
10. Hacтойка, приготовленная по традиционному рецепту:
11. Долина отказалась отдать ключи от квартиры Лурье.
12. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
13. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
14. Многим из нас нравится замиокулькаса.
15. В России начались испытания новой вакцины против аллергии.
16. Как избавиться от грызунов на даче простыми средствами.
17. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
18. Маленькая шпаргалка по томатам.
19. Создать овальные подносы можно легко, используя только свои руки.
20. Саженцы яблонь. Какие выбрать.
21. Молодая кровь способна омолаживать тело - это доказали учёные.
22. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
23. Перед шоу Дронов в Катаре тщательная подготовка проходит.
24. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
25. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
26. Лучший инструмент для скрапинга сайтов в 2025 году
27. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
28. Девушки, которые выбирают профессию сварщика, часто удивляют тех, кто привык считать эту работу только мужской.
29. Какие музеи наиболее популярны среди туристов
30. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
31. Здорово, дружище! Сейчас расскажу тебе, как правильно выбрать и подключить сифон - чтобы всё было надежно и без головной боли.
32. Какие сады и парки Москвы особенно красивы весной
33. Сладкую малинку хотите?
34. Как покупать на Амазоне: пошаговое руководство
35. Как заказать товары с Amazon в Москву: полное руководство
36. Какая история стоит за созданием главной площади города
37. ТОП-20 мобильных прокси-серверов с ротацией: лучшие варианты для вашего устройства
38. Графитовый цвет - тренд в строительстве 2025 года.
39. Лучшие прокси-сервисы для арбитража 2025: рейтинг и обзор
40. Топ-10 бесплатных прокси 2025: Надёжные и быстрые
41. HTTP-прокси: что это такое и как он работает
42. Секреты стройности: как достичь идеальных форм
43. Ученые определили идеал женской красоты: кто же она
44. Какие современные развлекательные комплексы есть в Рязани
45. Какие исторические личности оставили след в истории Санкт-Петербурга
46. Как выбрать продукт для продажи на Amazon FBA: пошаговое руководство
47. Топ-8 прокси для Instagram в 2025 году: Лучшие решения для анонимного доступа
48. Три "Грушевых" секрета!
49. Headlines:
50. Топ-8 прокси для LinkedIn в 2025 году: самые эффективные решения для ваших нужд