Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Ночью знакомая дорога легко в полосу неизвестности превращается.
2. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
3. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
4. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
5. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
6. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
7. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
8. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
9. Пустая грядка в августе не обязана два месяца выращивать сорняки.
10. Должны были с женой и родителями лететь на свадьбу сестры.
11. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
12. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
13. Большинство крупнейших катастроф в мировой истории не были неизбежными.
14. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
15. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
16. План для женщин, которые одиноки и ищут себе мужчину!
17. Уволенных россиян официально призвали готовиться к целому году безработицы.
18. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
19. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
20. Петербургские депутаты предложили изменить школьную программу полового воспитания.
21. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
22. Когда-то давно у меня был кот с сумасшедшим характером.
23. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
24. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
25. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
26. Caдовая зeмляника по-разному перeзимовала.
27. Опилки на грядках: бесплатное золото или яд для урожая?
28. Как подкормить малину весной для крупных и сладких ягод.
29. Ваши вопросы: пожелтела совсем туя после зимы.
30. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
31. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
32. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
33. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
34. Самый богатый бомж в мире!
35. Топ - 5 самых неприхотливых сортов перца.
36. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Дaвно забытый peцепт из сссp.
39. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
40. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
41. Замиокулькас. Это следует сделать сразу после покупки.
42. Врачи о бесполезности популярных бадов с коллагеном заявили.
43. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
44. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
45. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
46. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
47. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
48. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
49. Создать овальные подносы можно легко, используя только свои руки.
50. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.