Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
2. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
3. Чуть не оставила фасоль на грядке до полного высыхания.
4. Джем из кабачка и кураги сварила.
5. Еда - это язык, который понимают все без единого слова.
6. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
7. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
8. Яблок много - вроде радоваться надо.
9. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
10. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. Современный гейминг оказался исключительно полезен для человеческой психики.
13. Популярные суши и роллы официально признали настоящим суперфудом.
14. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
15. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
16. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
17. Будьте осторожны на участках и во время отдыха на природе.
18. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
19. Много лет отжиралась, но сейчас железно решила сесть на диету.
20. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
21. Когда-то давно у меня был кот с сумасшедшим характером.
22. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
23. Подорожник на участке: пора проверять почву!
24. Здравствуйте, участники сообщества!
25. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
26. Здравствуйте, oбращаюсь анoнимнo.
27. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
28. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
29. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
30. Сekрет пышной и сладкой морковки - простая подкормка!
31. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
32. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
33. "Фишка моей внешности в том, что я родилась старой.
34. Она растёт в каждом саду и называется ведьмина трава.
35. Сaлат с копченой курицей.
36. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
37. Затяжная магнитная буря уже началась и продлится до конца декабря.
38. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
39. Эта комната не подстраивается под свет - она управляет им в реальном времени.
40. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
41. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
42. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
43. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
44. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
45. Россиян ожидает резкое повышение тарифов на электроэнергию.
46. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
47. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
48. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
49. Чем подкормить клубнику в августе крупного урожая.
50. Эта четвёрка стала воплощением скорости, которую сложно превзойти.