Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
2. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
3. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
4. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
5. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
6. После последней ягоды про клубнику легко забыть до следующей весны.
7. Холодный душ - это не просто способ проснуться быстро.
8. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
9. На старости лет нашёл лайфхак для ловеласа.
10. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
11. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
12. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
13. Мастурбация у птиц абсолютно естественным поведением оказалась.
14. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
15. Сервис такси Bolt уволил всех кадровиков ради эффективности.
16. Мой личный лайфхак относительно учёбы.
17. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
18. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
19. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
20. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
21. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
22. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
23. Все лето держу окна в доме отрытыми и не боюсь комаров.
24. Обычный лавровый лист заставит комнатные растения пышно цвести.
25. "Фишка моей внешности в том, что я родилась старой.
26. Пирожки: забытый старый мамин рецепт.
27. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
28. Яблоки очень уникальный продукт.
29. Вот так выглядит архитектура, когда пространства почти не осталось.
30. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
31. Австралийская семья отказалась продать дом за 50 миллионов долларов.
32. Замечательный закусочный торт из нежной куриной грудки!
33. Затяжная магнитная буря уже началась и продлится до конца декабря.
34. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
35. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
36. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
37. Многим из нас нравится замиокулькаса.
38. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
39. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
40. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
41. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
42. Учёные в вейпах следы фекалий обнаружили.
43. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
44. Секрет крупного озимого чеснока - простая подкормка при посадке!
45. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
46. Подготовка почвы к новому сезону: без перекопки, но с пользой.
47. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
48. Вкусный рецепт бургера с курочкой.
49. Как спасти огурцы от мучнистой росы.
50. Грим в кино - это не просто макияж, а важная часть создания образа героя.