Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
2. Соседка уже спрашивает, когда будем сажать озимый чеснок.
3. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
4. С 1 марта банки будут блокировать переводы при обнаружении вируса.
5. Насколько огромны самые большие объекты в природе и космосе.
6. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
7. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
8. Яблок много - вроде радоваться надо.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
11. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
12. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
13. Хроническая бедность способна значительно ускорять естественное старение организма.
14. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
15. Экзамен по философии сдавала.
16. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
17. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
18. Хотите получить огурцы без болезней и с хорошим здоровьем?
19. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
20. Здравствуйте, oбращаюсь анoнимнo.
21. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
22. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
23. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
24. Чем подкормить рассаду перца для мощных корней.
25. Слова - обереги, которые важно знать:
26. Почeму чеснoк при хранении усыхает.
27. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
28. Этой весной Россию накроет массовое нашествие комаров и клещей.
29. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
30. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
31. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
32. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
33. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
34. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
35. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
36. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
37. Затяжная магнитная буря уже началась и продлится до конца декабря.
38. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
39. Помoщь для пeчени.
40. Вкусный и ароматный салат "Парамониха" из свежих овощей.
41. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
42. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
43. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
44. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
45. Как избавиться от грызунов на даче простыми средствами.
46. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
47. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
48. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
49. 5 секретов обильного урожая огурцов.
50. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.