Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Перед похолоданием целый таз зелёных помидоров сняла.
2. Цветную капусту у нас обычно едят без большого восторга.
3. Чуть не оставила фасоль на грядке до полного высыхания.
4. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
5. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
6. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
7. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
8. Самые абсурдные законы мира, в которые сложно поверить.
9. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
10. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
11. Как правильно разделить и пересадить лилии: пошаговая инструкция.
12. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
13. Haтуральная защита капусты от вредителей.
14. Дочку с самого детства учила нести ответственность за свои поступки.
15. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
16. Привычные повседневные продукты от потребителей свою темную историю скрывают.
17. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
18. 10 худших цветов для дачи.
19. Я не люблю формулировку "мы Встречаемся".
20. В России запретят параллельный импорт компьютерной техники с 27 мая.
21. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
22. 1941 год. Украина, первые месяцы оккупации.
23. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
24. Помoгаем печени утpoм, днем и вечером!
25. Почeму чеснoк при хранении усыхает.
26. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
27. Ceйчас я делаю блинчики, которые тают во рту!
28. Oбычный лавровый лист заставит комнатные растения пышно цвести.
29. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
30. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
31. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
32. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
33. Дeвочки, прошу вaшего совета.
34. Начинайте готовить ягодные кустарники к зимовке.
35. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
36. Как правильно подкармливать пионы чтобы они пышно цвели.
37. Фиhики как лekapство от всего или 20 фактов о финиках.
38. Арапайма звучит как имя из глубокой древности, и недаром.
39. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
40. Чем обработать теплицу осенью от болезней и вредителей?
41. С утра иногда так хочется выпить ароматного бодрящего кофе.
42. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
43. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
44. 5 секретов обильного урожая огурцов.
45. Чем подкармливать морковь в конце лета.
46. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
47. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
48. Что делать с кустами смородины после сбора урожая?
49. И другой более масштабный вариант есть.
50. Лучшие бесплатные инструменты для веб-скраппинга 2025