Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Мой муж никогда не уходит с работы.
3. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
4. В Россию прибыла первая партия бензина из индии.
5. Еда - это язык, который понимают все без единого слова.
6. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
7. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
8. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
9. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
10. Чем заболела груша и как ее лечить?
11. Зеленый бочок у картошки: срезать или выбросить?
12. Мне 37, молодая и здоровая была, но за год постарела.
13. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
14. Маринованные огурцы с красной смородиной без уксуса.
15. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
16. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
17. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
18. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
19. Будьте осторожны на участках и во время отдыха на природе.
20. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
21. Моего кота зовут заяц.
22. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
23. Российские власти введение дополнительной платы за VPN отложили.
24. Клубнику от долгоносика спасаю ещё до цветения.
25. Haтуральные стимуляторы образования корней.
26. Опасный хантавирус за пределы лайнера вышел.
27. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
28. Я мopковь сею следующим образом.
29. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
30. Kак победить пырей на участке.
31. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
32. Дочь марии Шукшиной раскрыла боль семейных отношений.
33. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
34. Самый возрастной ветеран великой отечественной войны умер.
35. Фигуру дочки Маликова бурно обсуждают в Сети.
36. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
37. Самый богатый бомж в мире!
38. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
39. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
40. Этот пирог лучше, чем торт и вкуснее кекса.
41. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
42. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
43. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
44. Казалось бы, простая рамка для фото.
45. Создавать своими руками - значит делать вещи особенными.
46. Топ - 5 идей для уюта на даче осенью.
47. Острый соус, который можно замораживать.
48. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
49. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
50. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.