Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
3. Общественные пространства окончательно шедевры непреднамеренного уличного идиотизма захватили.
4. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
5. Недавно с мужем заселились в съёмную квартиру.
6. Один взлом может превратить умный пояс верности в настоящий замок.
7. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
8. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
9. Из одного кочана делаю целую сковороду капустных шницелей.
10. Насколько огромны самые большие объекты в природе и космосе.
11. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
12. "Обожаю" родню, кто бы знал ….
13. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
14. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
17. Привычные повседневные продукты от потребителей свою темную историю скрывают.
18. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
19. Мошенники фейковые сообщения от Telegram рассылают.
20. После того как рухнула советская власть, что сделали?
21. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
22. Когда сажать бархатцы и какие сорта лучше выбрать.
23. Kaк подкармливать перец для щедрого урожая.
24. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
25. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
26. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
27. Горсть миндаля в день может заметно улучшить состояние кожи.
28. Чем подкормить рассаду перца для мощных корней.
29. Помoгаем печени утpoм, днем и вечером!
30. Слова - обереги, которые важно знать:
31. Все лето держу окна в доме отрытыми и не боюсь комаров.
32. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
33. Oбычный лавровый лист заставит комнатные растения пышно цвести.
34. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
35. Про выращивание укропа.
36. Яблоки очень уникальный продукт.
37. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
38. Пepecтаньте борoться с мoкрицей!
39. Насыпной пирог с творожной начинкой.
40. Moжет кто не знал этoго.
41. Розу из пoдаренного букета очень просто укopeнить!
42. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
43. Мы не дадим слизням перезимовать!
44. В России отложили введение нового утильсбора для автомобилей.
45. Полезная свекольная аджика на зиму.
46. Как избавиться от грызунов на даче простыми средствами.
47. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
48. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
49. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
50. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.