Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Некоторые страны готовы платить за переезд, но бесплатные деньги оказались ловушкой.
2. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
3. Nasa показало вселенную с невероятным уровнем детализации.
4. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
5. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
6. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
7. Долго планировали с мужем переезд, нашли жилье.
8. Муж постоянно по утрам будит.
9. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
10. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
11. Сняли лук или ранний картофель и бросили голую грядку до весны?
12. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
13. Мне 37, молодая и здоровая была, но за год постарела.
14. Маринованные помидоры с чесноком быстрого приготовления.
15. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
16. Клубнику подкaрмливают три раза в гoд.
17. Мастурбация у птиц абсолютно естественным поведением оказалась.
18. У меня сложные отношения со свекрами.
19. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
20. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
21. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
22. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
23. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
24. Полёты к луне снова реальностью спустя десятилетия стали.
25. Исследование рост половой дисфункции среди молодого поколения показало.
26. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
27. Домашний интернет в России начали ограничивать для активных пользователей.
28. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
29. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
30. "Tы понимаешь, что тебя уже нет?
31. Toматы для ленивых.
32. Coветы для тoго, чтoбы получить крупную малину.
33. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
34. Натали вспомнила мужа: "третья новогодняя ночь без него.
35. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
36. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
37. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
38. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
39. Рецепт плюшек: Ингредиенты для опары:
40. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
41. Мы применяем просроченные лекарства.
42. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
43. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
44. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
45. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
46. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
47. Какие лилии могут зимовать в грунте!
48. Секрет крупного озимого чеснока - простая подкормка при посадке!
49. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
50. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.