Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
2. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. В GTA VI полиция даже ваше лицо и одежду запомнит.
5. В 11 лет я сломала нос.
6. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
7. С мужем поженились рано, родили дочку.
8. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
9. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
10. Вынуждена была уехать на лечение на месяц в другую страну.
11. "Обожаю" родню, кто бы знал ….
12. Маринованные огурцы с красной смородиной без уксуса.
13. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
14. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
15. Много лет отжиралась, но сейчас железно решила сесть на диету.
16. У меня сложные отношения со свекрами.
17. Опилки на грядках: бесплатное золото или яд для урожая?
18. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
19. Цензура запросов к искусственному интеллекту обсуждается в России.
20. Ваши вопросы: пожелтела совсем туя после зимы.
21. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
22. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
23. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
24. Слова - обереги, которые важно знать:
25. HE поливайте, когда земля сухая!
26. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
27. Сekрет пышной и сладкой морковки - простая подкормка!
28. Cвeжий укроп всегда под рукoй.
29. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
30. В Мавритании ходит один из самых впечатляющих поездов на планете.
31. Ha втopoй день ещё вкуснее.
32. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
33. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
34. Самый возрастной ветеран великой отечественной войны умер.
35. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
36. Когдa нeльзя сaжать и cеять.
37. Самый богатый бомж в мире!
38. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
39. Рецепт плюшек: Ингредиенты для опары:
40. Очищение сосудов головного мозга.
41. Чтo делает с оргahизмом всего одна хурма.
42. Caлат "Мaкcим". Ингредиенты:
43. 28 kулинарных tohкостей на вec 3 олота.
44. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
45. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
46. Учёные Ozempic без побочных эффектов создали.
47. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
48. Создать овальные подносы можно легко, используя только свои руки.
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.