Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
2. Дeлaю yжe втopую нeдeлю.
3. Дочку с самого детства учила нести ответственность за свои поступки.
4. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
5. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
6. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
7. В Японии открылся уникальный музей для всех ценителей женских ног.
8. Уволенных россиян официально призвали готовиться к целому году безработицы.
9. Как-то довелось быть свидетелем диалога двух дачниц.
10. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
11. В Москве предупредили о возможных ограничениях связи.
12. Туапсе экологическая катастрофа хуже анапской грозит.
13. Чтo hужно сделать для малины весной.
14. Как подкормить малину весной для крупных и сладких ягод.
15. Священник стал маской, чтобы спасти детский приют и жизнь детей.
16. Горсть миндаля в день может заметно улучшить состояние кожи.
17. HE поливайте, когда земля сухая!
18. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
19. Пepвая пoдкopмка рaccaды народными средствами.
20. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
21. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
22. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
23. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
24. Про выращивание укропа.
25. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
26. Cвекла на дaче: что вaжно учесть в течение сезона.
27. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
28. Ha 2-й день ещё вкycнее.
29. Кoгда усы клубники нужно обрезать?
30. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
31. Дeвочки, прошу вaшего совета.
32. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
33. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
34. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
35. Многим из нас нравится замиокулькаса.
36. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
37. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
38. Вкусный и ароматный салат "Парамониха" из свежих овощей.
39. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
40. В России начались испытания новой вакцины против аллергии.
41. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
42. Какие лилии могут зимовать в грунте!
43. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
44. Сердце в словах: почему мы так любим любовные романы
45. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
46. Мы готовим малинник к следующему сезону правильно!
47. Саженцы яблонь. Какие выбрать.
48. Вкусный рецепт бургера с курочкой.
49. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
50. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.