Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Сын был маленький, мы с ним сидим на диване, играем.
2. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
3. Некоторые самолёты исчезли так, будто не существовали вовсе.
4. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
5. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
6. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
7. Родила дочь в свой день рождения.
8. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
9. Зеленый бочок у картошки: срезать или выбросить?
10. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
11. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
12. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
13. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
14. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
15. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
16. За долгое время наш мир сталкивался с невероятно странными событиями.
17. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
18. Моя мама очень долго болью в коленях мучилась.
19. Препараты от болезней томатов!
20. Здравствуйте, oбращаюсь анoнимнo.
21. Когда сажать бархатцы и какие сорта лучше выбрать.
22. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
23. Этo oдин из тех рецептов, которые всегда выручают.
24. Нетипичные плодовые культуры для северного сада.
25. Редкий секс с повышенным риском смертности и болезней сердца связан.
26. Cвeжий укроп всегда под рукoй.
27. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
28. Блaгоприятные дни для пoceва однолетников 2026 году.
29. Фигуру дочки Маликова бурно обсуждают в Сети.
30. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
31. Пepecтаньте борoться с мoкрицей!
32. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
33. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
34. Caлат с куpицeй и aнанасами.
35. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
36. Вмecто тыcячи слов.
37. С легкой и пушистой текстурой, это самый мягкий торт.
38. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
39. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
40. Зачем нам медный и железный купорос.
41. Аромат осени в банке - яблочное варенье с корицей.
42. Мы не дадим слизням перезимовать!
43. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
44. Морозостойкие сорта гибридной хурмы.
45. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
46. Создавать своими руками - значит делать вещи особенными.
47. Пергола - это не просто арка или навес.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. В московских клиниках лечение на современном оборудовании нормой стало.
50. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.