Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
3. Джем из кабачка и кураги сварила.
4. Все выбрасывают арбузные корки, а я замариновала одну банку.
5. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
6. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
7. Зеленый бочок у картошки: срезать или выбросить?
8. Мне 37, молодая и здоровая была, но за год постарела.
9. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
10. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
11. Маринованные огурцы с красной смородиной без уксуса.
12. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
13. Мощная подкормка для овощей: секрет огромного количества завязей.
14. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
15. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
16. Здоровый быт начинается с внимания к предметам, которые вас окружают.
17. Моего кота зовут заяц.
18. Девушка случайно Airpods вместо таблетки перед сном проглотила.
19. У меня сложные отношения со свекрами.
20. Завязей на томатах будет море, а фитофтора обойдёт стороной.
21. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
22. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
23. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
24. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
25. Советы дачникам. * Борная кислота:
26. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
27. В Алматы установили памятник истории спасения собаки живой цепью.
28. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
29. Mышь в yлье.
30. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
31. Нежный пирог черный принц из варенья.
32. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
33. Oбычный лавровый лист заставит комнатные растения пышно цвести.
34. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
35. Пepecтаньте борoться с мoкрицей!
36. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
37. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
38. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
39. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
40. Разбираемся как бороться с червяками на малине.
41. Яркий акцент для сада.
42. Начинайте готовить ягодные кустарники к холодам.
43. Топ - 5 идей для уюта на даче осенью.
44. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
45. Малосольные помидорки по-армянски.
46. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
47. Подготовка почвы к новому сезону: без перекопки, но с пользой.
48. Мы готовим малинник к следующему сезону правильно!
49. Лето без арбуза и дыни - не лето!
50. Почему засыхает малина в период созревания ягод?