Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
2. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
3. С мужем вместе уже 10 лет.
4. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
5. Еда - это язык, который понимают все без единого слова.
6. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
7. Из одного кочана делаю целую сковороду капустных шницелей.
8. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
9. Чем заболела груша и как ее лечить?
10. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
11. Маринованные помидоры с чесноком быстрого приготовления.
12. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
13. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
14. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
15. Много лет отжиралась, но сейчас железно решила сесть на диету.
16. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
17. Когда-то давно у меня был кот с сумасшедшим характером.
18. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
19. Архивные фото Ирины шейк из юности.
20. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
21. Натуральные стимуляторы образования корней.
22. Kaк подкармливать перец для щедрого урожая.
23. Исследование рост половой дисфункции среди молодого поколения показало.
24. Уже проснулись: как не встретить гадюку на любимых грядках.
25. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
26. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
27. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
28. Пpичины, пoчему уcыхает чеснок при хранении.
29. Пoлезный чай для печени и жёлчного пузыря.
30. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
31. Яблоки очень уникальный продукт.
32. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
33. Что нужно знать о перце:
34. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
35. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
36. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
37. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
38. Работа над настенной полкой своими руками успехом завершилась.
39. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
40. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
41. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
42. Мы готовим малинник к следующему сезону правильно!
43. 3 популярных сорта жимолости.
44. Чем подкормить клубнику в августе крупного урожая.
45. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
46. Лето без арбуза и дыни - не лето!
47. Грим в кино - это не просто макияж, а важная часть создания образа героя.
48. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
49. Знаете, зачем завязывают ботву чеснока в узел?
50. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт