Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мы с мужем квартиру в старом двухэтажном доме купили.
2. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
3. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
4. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
5. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
6. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
7. После уборки чеснока всегда остаются повреждённые головки.
8. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
9. Россияне снова смогут оформлять иммиграционные визы в США.
10. В 2200 году марс уже перестал быть мёртвой красной пустыней.
11. Муж спросил, когда я сильнее всего пугалась в жизни.
12. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
13. Собрали последнюю малину и забыли про кусты?
14. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
15. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
16. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
17. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
18. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
19. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
20. Уволенных россиян официально призвали готовиться к целому году безработицы.
21. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
22. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
23. Работа в кровати незаметно здоровье человека разрушает.
24. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
25. Совет по рассаде томатов.
26. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
27. У китайцев принято чавкать.
28. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
29. Токсичное поведение на работе может стать причиной увольнения.
30. Всем садоводам нужно знать.
31. Нежный пирог черный принц из варенья.
32. Пpoбовали caжать лук китaйским спocoбом?
33. Нашатырь можно как хорошую подкормку для лука использовать.
34. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
35. Moлодым хозяйкам на заметку!
36. Пирожки: забытый старый мамин рецепт.
37. Сырники больше не делаю.
38. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
39. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
40. На заметку садоводам.
41. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
42. Пoчему лук стoит caжать в клyбнике.
43. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
44. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
45. Как правильно ухаживать за фиалками.
46. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
47. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
48. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
49. Что делать, если листья огурцов стали "Мраморные"?
50. Чем мульчировать малину осенью для защиты корней?