Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В 2200 году марс уже перестал быть мёртвой красной пустыней.
2. МРТ Плода показывает мозг и глаза сквозь кости черепа.
3. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
4. Официальная мировая история находится намного ближе к нам, чем кажется.
5. Современный гейминг оказался исключительно полезен для человеческой психики.
6. Мы удаляем листья у томата по правилам!
7. Чем пoдкормить тoматы во время цветения для богатого урожая.
8. В Японии открылся уникальный музей для всех ценителей женских ног.
9. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
10. Tля на сморoдинe. 2.
11. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
12. Так томаты в теплицу не просто так высаживают.
13. Нарциссизм всё чаще связывают именно с генетикой.
14. Архивные фото Ирины шейк из юности.
15. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
16. После того как рухнула советская власть, что сделали?
17. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
18. Как подкормить малину весной для крупных и сладких ягод.
19. Первая обработка сада от паразитов весной: полный гайд.
20. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
21. 10 растений с белыми цветами.
22. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
23. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
24. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
25. Рецепт меренгового рулета.
26. Hикогда не выращивайте tomаты и перец без этого!
27. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
28. Про выращивание укропа.
29. Рецепт плюшек: Ингредиенты для опары:
30. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
31. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
32. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
33. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
34. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
35. Moжет кто не знал этoго.
36. В России начались испытания новой вакцины против аллергии.
37. Как избавиться от грызунов на даче простыми средствами.
38. Казалось бы, простая рамка для фото.
39. Учёные Ozempic без побочных эффектов создали.
40. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
41. Очень вкусная аджика на зиму!
42. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
43. Калина с медом.
44. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
45. Зола для огурцов: когда и как подкармливать правильно?
46. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
47. Лучшие API и инструменты для веб-скраппинга 2025: что выбрать
48. Девушки, которые выбирают профессию сварщика, часто удивляют тех, кто привык считать эту работу только мужской.
49. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.
50. Альпинисты, которые покоряют снежные и высокие горы, всегда рискуют многим.