Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
3. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
4. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
5. Малина отплодоносила - и рука так и тянется оставить всё до весны.
6. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
7. Россияне снова смогут оформлять иммиграционные визы в США.
8. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
9. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
10. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
11. Цветы на томатах есть, а завязи нет: что я делаю в жару.
12. Думаю, моя мама не человек.
13. В нашей семье все склонны к полноте.
14. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
15. План для женщин, которые одиноки и ищут себе мужчину!
16. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
17. Лиcтья свернулись и побелели после высадки в теплицу.
18. Российские медики о резком росте опасных кишечных инфекций предупредили.
19. Так томаты в теплицу не просто так высаживают.
20. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
21. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
22. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
23. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
24. Три народных средства для крепкой рассады томатов.
25. Сekрет пышной и сладкой морковки - простая подкормка!
26. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
27. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
28. Пoлезный чай для печени и жёлчного пузыря.
29. Магия пандоры. Аватары и актёры, которые воплотили их образы.
30. Mинтай можно без особого труда приготовить вкусно.
31. Натали вспомнила мужа: "третья новогодняя ночь без него.
32. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
33. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
34. Березовый деготь в помощь дачникy.
35. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
36. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
37. Многим из нас нравится замиокулькаса.
38. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
39. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
40. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
41. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
42. Сердце в словах: почему мы так любим любовные романы
43. Маленькие, но важные детали делают интерьер особенным.
44. Самодельный светильник - маленькое чудо для спальни.
45. Что делать, если листья огурцов стали "Мраморные"?
46. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
47. Создать овальные подносы можно легко, используя только свои руки.
48. Подготовка почвы к новому сезону: без перекопки, но с пользой.
49. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
50. Самый легкий способ укоренения розы из букета!