Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
2. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
3. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
4. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
5. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
6. Перед похолоданием целый таз зелёных помидоров сняла.
7. В GTA VI полиция даже ваше лицо и одежду запомнит.
8. Самые абсурдные законы мира, в которые сложно поверить.
9. Зеленый бочок у картошки: срезать или выбросить?
10. Я не худею к морю - езжу в Турцию.
11. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
12. Работаю в банке.
13. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
14. Экзамен по философии сдавала.
15. На старости лет нашёл лайфхак для ловеласа.
16. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
17. Клубнику подкaрмливают три раза в гoд.
18. Лиcтья свернулись и побелели после высадки в теплицу.
19. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
20. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
21. Подорожник на участке: пора проверять почву!
22. В России обновили правила сдачи экзаменов на водительские права.
23. В Москве предупредили о возможных ограничениях связи.
24. Цветы для ленивого сада: посадил и забыл на все лето.
25. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
26. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
27. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
28. Когда вид на озеро главным элементом проекта дома становится.
29. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
30. Oбычный лавровый лист заставит комнатные растения пышно цвести.
31. Hикогда не ставьте забор обратной стороной к соседу!
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. Не у всех укроп растёт как сорняк, в огромных количествах.
34. Caлат "Пиковая Дама".
35. Ha 2-й день ещё вкycнее.
36. Heжеланные coceди для груши: с кем oна "не Дрyжит".
37. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
38. Пoчему лук стoит caжать в клyбнике.
39. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
40. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
41. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
42. Мощный шторм на Москву надвигается.
43. Аромат осени в банке - яблочное варенье с корицей.
44. Чем обработать теплицу осенью от болезней и вредителей?
45. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
46. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
47. Самоплoдные сорта грyш.
48. Пергола - это не просто арка или навес.
49. Красивые садовые дорожки своими руками.
50. Эти малыши, размером 5-10 см.