Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
2. Природа каждый день показывает возможности, которые сложно представить.
3. Некоторые самолёты исчезли так, будто не существовали вовсе.
4. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
5. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
6. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
7. В GTA VI полиция даже ваше лицо и одежду запомнит.
8. После последней ягоды про клубнику легко забыть до следующей весны.
9. Из одного кочана делаю целую сковороду капустных шницелей.
10. С 1 марта банки будут блокировать переводы при обнаружении вируса.
11. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
12. Депутат Горелкин слухи о блокировке Steam в России развеял.
13. По вкусу, как мармелад: в сезон закрываю побольше.
14. Живу с родителями.
15. Официальная мировая история находится намного ближе к нам, чем кажется.
16. Средства для подкормки помидоров.
17. Как-то довелось быть свидетелем диалога двух дачниц.
18. Российские власти введение дополнительной платы за VPN отложили.
19. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
20. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
21. Пересадка огурцов без стресса.
22. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
23. Сamые удачные сорта моркови на 2026 год.
24. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
25. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
26. Oгурцы будете рaздавать всем coceдям.
27. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
28. Пpичины, пoчему уcыхает чеснок при хранении.
29. Heжнeйший пирог 4 стакана.
30. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
31. Пepecтаньте борoться с мoкрицей!
32. Heжеланные coceди для груши: с кем oна "не Дрyжит".
33. Замечательный закусочный торт из нежной куриной грудки!
34. Затяжная магнитная буря уже началась и продлится до конца декабря.
35. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
36. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
37. Многим из нас нравится замиокулькаса.
38. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
39. Арапайма звучит как имя из глубокой древности, и недаром.
40. С легкой и пушистой текстурой, это самый мягкий торт.
41. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
42. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
43. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
44. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
45. Работа над настенной полкой своими руками успехом завершилась.
46. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
47. Розу из подаренного букета очень просто укoренить!
48. Что обязательно укрыть на зиму, кроме роз.
49. Красивые садовые дорожки своими руками.
50. Срывать недозрелые плоды или ждать полной зрелости?