Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Один взлом может превратить умный пояс верности в настоящий замок.
2. Мой муж никогда не уходит с работы.
3. Перед похолоданием целый таз зелёных помидоров сняла.
4. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
5. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
6. Из одного кочана делаю целую сковороду капустных шницелей.
7. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
8. Дочке десять лет, смотрится даже помладше из-за маленького роста.
9. Американец с самым крошечным пенисом в мире на увеличение пошёл.
10. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
11. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
12. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
13. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
14. Из мягких груш красивого варенья дольками не получится.
15. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
16. Вынуждена была уехать на лечение на месяц в другую страну.
17. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
18. По вкусу, как мармелад: в сезон закрываю побольше.
19. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
20. Маринованные помидоры с чесноком быстрого приготовления.
21. Про проветривание теплицы.
22. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
23. Официальная мировая история находится намного ближе к нам, чем кажется.
24. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
25. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
26. Мы удаляем листья у томата по правилам!
27. Привычные повседневные продукты от потребителей свою темную историю скрывают.
28. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
29. Добрый день! Вдруг кто с подобным … сталкивался.
30. Работа в кровати незаметно здоровье человека разрушает.
31. Повеяло летом. Клубника рекорд установила.
32. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
33. Ceкрет богатого урожая тoматов.
34. Нежный пирог черный принц из варенья.
35. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
36. Самый возрастной ветеран великой отечественной войны умер.
37. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
38. Кoгда усы клубники нужно обрезать?
39. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
40. Мы применяем просроченные лекарства.
41. Как правильно ухаживать за фиалками.
42. Замиокулькас. Это следует сделать сразу после покупки.
43. Помoщь для пeчени.
44. Нашим любимым подписчикам, дачникам и садоводам на заметку.
45. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
46. Недорогое средство от пятнистостей на розах.
47. Начинайте готовить ягодные кустарники к холодам.
48. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
49. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
50. 3 популярных сорта жимолости.