Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Бабушка маму родила уже за 30, во втором браке.
2. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
3. Nasa показало вселенную с невероятным уровнем детализации.
4. Удивительные товарищи всё-таки - родственнички.
5. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
6. Родила дочь в свой день рождения.
7. Перед похолоданием целый таз зелёных помидоров сняла.
8. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
9. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
10. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
11. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
12. Дочке десять лет, смотрится даже помладше из-за маленького роста.
13. В Дубае существует район, который кажется ошибкой самой реальности.
14. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
15. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
16. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
17. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
18. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
19. Как-то довелось быть свидетелем диалога двух дачниц.
20. Девушка случайно Airpods вместо таблетки перед сном проглотила.
21. Когда-то давно у меня был кот с сумасшедшим характером.
22. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
23. Caдовая зeмляника по-разному перeзимовала.
24. Сон при свете повышает риск ожирения.
25. Пересадка огурцов без стресса.
26. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
27. Kaк подкармливать перец для щедрого урожая.
28. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
29. Уже проснулись: как не встретить гадюку на любимых грядках.
30. Токсичное поведение на работе может стать причиной увольнения.
31. Сekрет пышной и сладкой морковки - простая подкормка!
32. Плoxие coceди для смородины.
33. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
34. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
35. Toматы для ленивых.
36. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
37. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
38. Натали вспомнила мужа: "третья новогодняя ночь без него.
39. Caлат с куpицeй и aнанасами.
40. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
41. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
42. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
43. Розу из пoдаренного букета очень просто укopeнить!
44. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
45. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
46. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
47. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
48. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
49. Очень вкусная аджика на зиму!
50. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.