Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Российские автомобили не подходят для работы в такси, заявил представитель общественного совета по развитию такси.
2. Был женат на японке 3 года.
3. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
4. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
5. Некоторые самолёты исчезли так, будто не существовали вовсе.
6. После аварии моего мужа ниже пояса парализовало.
7. Чуть не оставила фасоль на грядке до полного высыхания.
8. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
9. Соседка уже спрашивает, когда будем сажать озимый чеснок.
10. Дочке десять лет, смотрится даже помладше из-за маленького роста.
11. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
12. Почему утро, день и вечер не имеют чётких границ.
13. Твоё тело работает 24 часа в сутки без твоего участия.
14. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
15. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
16. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
17. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
18. Мне 37, молодая и здоровая была, но за год постарела.
19. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
20. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
21. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
22. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
23. Мы удаляем листья у томата по правилам!
24. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
25. Что я делаю с чесноком, чтобы он снова стал зелёным.
26. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
27. Из параллельного импорта уберут западные ноутбуки.
28. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
29. Первая обработка сада от паразитов весной: полный гайд.
30. Чем подкормить рассаду перца для мощных корней.
31. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
32. Hикогда не выращивайте tomаты и перец без этого!
33. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
34. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
35. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
36. Секрет пышной и сладкой морковки - простая подкормка!
37. Яблоки очень уникальный продукт.
38. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
39. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
40. Пepecтаньте борoться с мoкрицей!
41. Ha 2-й день ещё вкycнее.
42. Затяжная магнитная буря уже началась и продлится до конца декабря.
43. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
44. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
45. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
46. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
47. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
48. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
49. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
50. Вот он - пример того, как из идеи рождается практичная и красивая вещь.