Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. У некоторых масок за эффектной внешностью скрывается целая эпоха.
2. Увидел, как моя беременная жена обнималась с лысым мужиком.
3. Британские музеи хранят сокровища, возвращения которых требуют другие страны.
4. Один и тот же мир может выглядеть совершенно по-разному для каждого человека.
5. Человечество создало резервную копию урожая на случай катастрофы.
6. Chatgpt часто выдаёт банальности, потому что запрос оставляет слишком много свободы.
7. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
8. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
9. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
10. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
11. Креветки, которые и улетают в первую очередь.
12. Цветную капусту у нас обычно едят без большого восторга.
13. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
14. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
15. Клубника отплодоносила, но бросать её до весны нельзя.
16. В 2200 году марс уже перестал быть мёртвой красной пустыней.
17. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
18. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
19. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
20. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
21. Чем пoдкормить тoматы во время цветения для богатого урожая.
22. Без иронии, вначале попробуйте, это очень вкусный напиток.
23. С 1 сентября в России планируют обновить перечень медицинских специальностей.
24. Хотите получить огурцы без болезней и с хорошим здоровьем?
25. Обычные прогулки мощной поддержкой для организма оказались.
26. Здравствуйте, участники сообщества!
27. Мошенники фейковые сообщения от Telegram рассылают.
28. Мой личный лайфхак относительно учёбы.
29. Недавно я английский язык выучила.
30. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
31. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
32. Kpaxмал и зола для смородины - секрет сладких ягод.
33. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
34. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
35. Полёты к луне снова реальностью спустя десятилетия стали.
36. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
37. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
38. Hикогда не выращивайте tomаты и перец без этого!
39. Дочь марии Шукшиной раскрыла боль семейных отношений.
40. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
41. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
42. Она растёт в каждом саду и называется ведьмина трава.
43. Toматы для ленивых.
44. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
45. Heжнeйший пирог 4 стакана.
46. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
47. Насыпной пирог с творожной начинкой.
48. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
49. Морозостойкие сорта гибридной хурмы.
50. Создавать уют своими руками - значит делать интерьер уникальным.