Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
2. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
3. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
4. Слова - обереги, которые важно знать:
5. Этой весной Россию накроет массовое нашествие комаров и клещей.
6. Пepвая пoдкopмка рaccaды народными средствами.
7. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
8. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
9. Нашатырь можно как хорошую подкормку для лука использовать.
10. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
11. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
12. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
13. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
14. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
15. Очищение сосудов головного мозга.
16. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
17. Caлат с куpицeй и aнанасами.
18. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
19. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
20. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
21. Арапайма звучит как имя из глубокой древности, и недаром.
22. Этот робот не просто убирает ваш дом - он его изучает.
23. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
24. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
25. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
26. 5 секретов обильного урожая огурцов.
27. Мы готовим малинник к следующему сезону правильно!
28. 5 лучших подкормок для огорода - проверено на практике.
29. Грим в кино - это не просто макияж, а важная часть создания образа героя.
30. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
31. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
32. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
33. Лучший инструмент для скрапинга сайтов в 2025 году
34. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще
35. Какие легенды и мифы связаны с историей Миасса
36. Актёр Джонни депп не раз появлялся в образе капитана Джека воробья в детских больницах, вызывая улыбки у маленьких пациентов.
37. Как использовать публичные SOCKS5 прокси в Telegram
38. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
39. Немного о борьбе с борщевиком.
40. Дроны - доставщики уже не фантастика, а часть современной логистики.
41. Дорогие мои, вот как я обычно вешаю цветочный горшок на веревку - это просто и красиво, а главное, надежно!
42. Как быстро вырастить базилик?
43. Как заказать товары с Amazon в Москву: полное руководство
44. ТОП-15 популярных прокси-серверов 2025: рейтинг лучших решений для анонимности и безопасности
45. Какие религиозные места можно посетить в Москве
46. Несколько copтoв тoмaтoв, кoтopые не "Чaхнут" oт фитoфтopы.
47. Базилик маркиз - это сорт базилика, который хорошо подходит для выращивания дома на обычном подоконнике, даже без фитолампы.
48. Эволюция красоты: как менялись эталоны фигуры в XX веке и сейчас
49. Секреты красивых девушек: как добиться идеальной фигуры
50. Как современные мужчины видят идеальную женскую фигуру