Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мы с мужем квартиру в старом двухэтажном доме купили.
2. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
3. Родила дочь в свой день рождения.
4. В 11 лет я сломала нос.
5. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
6. МРТ Плода показывает мозг и глаза сквозь кости черепа.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Яблок много - вроде радоваться надо.
9. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
10. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
11. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
12. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
13. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
14. План для женщин, которые одиноки и ищут себе мужчину!
15. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
16. Средства для подкормки помидоров.
17. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
18. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
19. Девушка случайно Airpods вместо таблетки перед сном проглотила.
20. Российские медики о резком росте опасных кишечных инфекций предупредили.
21. Некоторые археологические открытия наше прошлое слишком странным делают.
22. Что я делаю с чесноком, чтобы он снова стал зелёным.
23. Без иронии, вначале попробуйте, это очень вкусный напиток.
24. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
25. Почему вы зря деревья от лишайника белите?
26. Пятый рабочий день полностью неэффективным оказался.
27. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
28. Когда сажать бархатцы и какие сорта лучше выбрать.
29. Moй споcoб подкopмки мoлодой рассады тoматов.
30. Этой весной Россию накроет массовое нашествие комаров и клещей.
31. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
32. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
33. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
34. Пocледний бoй тоpepo альваро муньеры.
35. Mинтай можно без особого труда приготовить вкусно.
36. Топ - 5 самых неприхотливых сортов перца.
37. Рецепт плюшек: Ингредиенты для опары:
38. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
39. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
40. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
41. Полезная памятка средств для сада и огорода.
42. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
43. Мы не дадим слизням перезимовать!
44. С утра иногда так хочется выпить ароматного бодрящего кофе.
45. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
46. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
47. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
48. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
49. 5 секретов обильного урожая огурцов.
50. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.