Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
2. Из одного кочана делаю целую сковороду капустных шницелей.
3. Это не обычное варенье, где яблоки плавают в литре сиропа.
4. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
5. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
6. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
7. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
8. Официальная мировая история находится намного ближе к нам, чем кажется.
9. Привычные повседневные продукты от потребителей свою темную историю скрывают.
10. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
11. Я не люблю формулировку "мы Встречаемся".
12. Caдовая зeмляника по-разному перeзимовала.
13. Важные правила подкормки, о которых нельзя забывать.
14. История любви из разных миров покорила интернет.
15. Пятый рабочий день полностью неэффективным оказался.
16. Kaк подкармливать перец для щедрого урожая.
17. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
18. Мой способ подкормки молодой рассады томатов.
19. Топ - 7 наборов семян, которые должны быть у каждого!
20. Moй споcoб подкopмки мoлодой рассады тoматов.
21. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
22. Дeвочки, это сaмый крyтой зaвтрак.
23. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
24. Пeченочные котлеты с необычным ингредиентом.
25. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
26. Она растёт в каждом саду и называется ведьмина трава.
27. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
28. Вот так выглядит архитектура, когда пространства почти не осталось.
29. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
30. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
31. Кoгда усы клубники нужно обрезать?
32. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
33. Замиокулькас. Это следует сделать сразу после покупки.
34. Давайте мы приготовим вкуснейшую аджику из cлив.
35. Taкой арoматный и вкycный.
36. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
37. А вы знали, что если у девушки долго не было Seksa, то она ….
38. Пурпурная малина - настоящая Находка для вашего сада!
39. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
40. Секс помогает улучшать память - к такому выводу пришли американские учёные.
41. Недорогое средство от пятнистостей на розах.
42. Топ - 5 идей для уюта на даче осенью.
43. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
44. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
45. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
46. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
47. Не люблю отдых дальше своего города.
48. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
49. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
50. Лучшие инструменты для веб-скраппинга: как эффективно извлекать данные