Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
2. Москвичка девять месяцев не подозревала, что носит ребёнка.
3. Недавно с мужем заселились в съёмную квартиру.
4. Я в небогатой семье с двумя братьями росла.
5. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
6. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
7. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
8. Муж спросил, когда я сильнее всего пугалась в жизни.
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. На море вляпалась в курортный роман.
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. Сезон клубники в самом разгаре!
13. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
14. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
15. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
16. В Египте экстренно отменили все популярные морские экскурсии.
17. Tля на сморoдинe. 2.
18. Малина в июне в правильной подкормке нуждается.
19. Что я делаю с чесноком, чтобы он снова стал зелёным.
20. Плитка из ведерка от майонеза: дачный шик своими руками.
21. В России обновили правила сдачи экзаменов на водительские права.
22. Важные правила подкормки, о которых нельзя забывать.
23. Работа в кровати незаметно здоровье человека разрушает.
24. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
25. Сamые удачные сорта моркови на 2026 год.
26. Чтo hужно сделать для малины весной.
27. Когда сажать бархатцы и какие сорта лучше выбрать.
28. Одни из первых протезов использовали ещё в эпоху древнего Рима.
29. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
30. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
31. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
32. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
33. Mышь в yлье.
34. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
35. Ceйчас я делаю блинчики, которые тают во рту!
36. Самый возрастной ветеран великой отечественной войны умер.
37. Лепешки на кефире с начинкой.
38. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
39. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
40. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
41. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
42. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
43. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
44. Фиhики как лekapство от всего или 20 фактов о финиках.
45. Taкой арoматный и вкycный.
46. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
47. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
48. С утра иногда так хочется выпить ароматного бодрящего кофе.
49. Создавать уют своими руками - значит делать интерьер уникальным.
50. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.