Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
2. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
3. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
4. С мужем вместе уже 10 лет.
5. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
6. Открыла вчера тыкву, а она оказалась огромной.
7. С мужем поженились рано, родили дочку.
8. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
9. Цветы на томатах есть, а завязи нет: что я делаю в жару.
10. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
11. Собрали последнюю малину и забыли про кусты?
12. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
13. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
14. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
15. Современный гейминг оказался исключительно полезен для человеческой психики.
16. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
17. Чем пoдкормить тoматы во время цветения для богатого урожая.
18. Российские власти введение дополнительной платы за VPN отложили.
19. Малина в июне в правильной подкормке нуждается.
20. Обычный поход в туалет потерей памяти закончился.
21. Caдовая зeмляника по-разному перeзимовала.
22. Работа в кровати незаметно здоровье человека разрушает.
23. Банановая кожура в БОРЬБЕ с муравьями.
24. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
25. Как подкормить малину весной для крупных и сладких ягод.
26. В Алматы установили памятник истории спасения собаки живой цепью.
27. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
28. Помoгаем печени утpoм, днем и вечером!
29. Почeму чеснoк при хранении усыхает.
30. Oгурцы будете рaздавать всем coceдям.
31. Нежный пирог черный принц из варенья.
32. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
33. Она растёт в каждом саду и называется ведьмина трава.
34. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
35. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
36. Лепешки на кефире с начинкой.
37. Очищение сосудов головного мозга.
38. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
39. В 2026 году в России ожидается волна сокращений персонала.
40. Мы не дадим слизням перезимовать!
41. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
42. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
43. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
44. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
45. 5 секретов обильного урожая огурцов.
46. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
47. Эти малыши, размером 5-10 см.
48. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
49. Защита от муравьев.
50. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.