Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
2. Родила старшую дочку в 17 лет.
3. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
4. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
5. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
6. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
7. Россияне снова смогут оформлять иммиграционные визы в США.
8. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
11. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
12. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
13. Формировка огурцов. 1. начинаю с нижней части.
14. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
15. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
16. Сервис такси Bolt уволил всех кадровиков ради эффективности.
17. Без иронии, вначале попробуйте, это очень вкусный напиток.
18. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
19. Северная Корея правила ядерного ответа страны изменила.
20. Здравствуйте, участники сообщества!
21. Почему обеспеченные люди реже приложения для знакомств выбирают.
22. Пятый рабочий день полностью неэффективным оказался.
23. Кейсы в CS2 и паки Fifa предложили запретить в России.
24. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
25. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
26. В Госдуме предложили необычный способ провести время без интернета.
27. В Алматы установили памятник истории спасения собаки живой цепью.
28. Горсть миндаля в день может заметно улучшить состояние кожи.
29. Moй споcoб подкopмки мoлодой рассады тoматов.
30. Все лето держу окна в доме отрытыми и не боюсь комаров.
31. Никогда не выращивайте томаты и перец без этого!
32. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
33. Самый возрастной ветеран великой отечественной войны умер.
34. Когдa нeльзя сaжать и cеять.
35. Caлат "Пиковая Дама".
36. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
37. Фиhики как лekapство от всего или 20 фактов о финиках.
38. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
39. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
40. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
41. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
42. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
43. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
44. Секрет крупного озимого чеснока - простая подкормка при посадке!
45. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
46. Чем подкармливать морковь в конце лета.
47. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
48. 3 популярных сорта жимолости.
49. 5 лучших подкормок для огорода - проверено на практике.
50. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?