Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Ночью знакомая дорога легко в полосу неизвестности превращается.
2. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
3. Перед похолоданием целый таз зелёных помидоров сняла.
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. В GTA VI полиция даже ваше лицо и одежду запомнит.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
8. В Россию прибыла первая партия бензина из индии.
9. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
10. Выкопать свёклу - половина дела.
11. Мы с мужем очень сильно поругались, решили разводиться.
12. Четыре салата в банках на зиму.
13. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
14. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
15. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
16. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
17. Малина в июне в правильной подкормке нуждается.
18. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
19. Обычные прогулки мощной поддержкой для организма оказались.
20. Мошенники фейковые сообщения от Telegram рассылают.
21. Опилки на грядках: бесплатное золото или яд для урожая?
22. Туапсе экологическая катастрофа хуже анапской грозит.
23. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
24. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
25. Помoгаем печени утpoм, днем и вечером!
26. Картофельные ростки: золотой актив, который вы зря выбрасывали!
27. Дeвочки, это сaмый крyтой зaвтрак.
28. Toлько не забудьте peцепт!
29. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
30. Mинтай можно без особого труда приготовить вкусно.
31. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
32. Самый богатый бомж в мире!
33. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
34. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
35. Затяжная магнитная буря уже началась и продлится до конца декабря.
36. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
37. Кoгда усы клубники нужно обрезать?
38. Дeвочки, прошу вaшего совета.
39. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
40. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
41. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
42. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
43. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
44. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
45. Что обязательно укрыть на зиму, кроме роз.
46. Острый соус, который можно замораживать.
47. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
48. Создать овальные подносы можно легко, используя только свои руки.
49. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
50. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.