Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Лоис гибсон превратила карандаш в инструмент поимки преступников.
2. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
3. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
4. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
5. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
6. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
7. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
8. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
9. Джем из кабачка и кураги сварила.
10. Твоё тело работает 24 часа в сутки без твоего участия.
11. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
12. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
13. Я не худею к морю - езжу в Турцию.
14. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
15. Хроническая бедность способна значительно ускорять естественное старение организма.
16. На старости лет нашёл лайфхак для ловеласа.
17. Чем пoдкормить тoматы во время цветения для богатого урожая.
18. Некоторые древние технологии до сих пор превосходят современные достижения науки.
19. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
20. Российские медики о резком росте опасных кишечных инфекций предупредили.
21. Северная Корея правила ядерного ответа страны изменила.
22. Обычные прогулки мощной поддержкой для организма оказались.
23. Опасный хантавирус за пределы лайнера вышел.
24. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
25. В России запретят параллельный импорт компьютерной техники с 27 мая.
26. Цветы для ленивого сада: посадил и забыл на все лето.
27. В популярных духах обнаружили потенциально опасные вещества.
28. Цензура запросов к искусственному интеллекту обсуждается в России.
29. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
30. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
31. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
32. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
33. Самый возрастной ветеран великой отечественной войны умер.
34. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
35. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
36. Маринованные помидоры с морковной ботвой.
37. Пробовали сажать лук китайским способом?
38. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
39. Фильм, который меняет стереотипное представление об атомной энергетике.
40. Мы применяем просроченные лекарства.
41. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
42. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
43. И еxaть никуда не нaдо.
44. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
45. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
46. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
47. Чем обработать теплицу осенью от болезней и вредителей?
48. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
49. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
50. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.