Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Клубника отплодоносила, но бросать её до весны нельзя.
2. Баклажаны отдельно не жарю.
3. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
4. Насколько огромны самые большие объекты в природе и космосе.
5. "Обожаю" родню, кто бы знал ….
6. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
7. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
8. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
9. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
10. Уволенных россиян официально призвали готовиться к целому году безработицы.
11. Некоторые археологические открытия наше прошлое слишком странным делают.
12. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
13. Почему желтеет лук и чеснок и как быстро их "Оживить".
14. 10 худших цветов для дачи.
15. Недавно я английский язык выучила.
16. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
17. Почему обеспеченные люди реже приложения для знакомств выбирают.
18. Цензура запросов к искусственному интеллекту обсуждается в России.
19. Совет по рассаде томатов.
20. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
21. Советы дачникам. * Борная кислота:
22. Мой способ подкормки молодой рассады томатов.
23. Легенды мирового рока украсили фасады домов в елизаветино.
24. "Tы понимаешь, что тебя уже нет?
25. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
26. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
27. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
28. Фигуру дочки Маликова бурно обсуждают в Сети.
29. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
30. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
31. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
32. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
33. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
34. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
35. Учёные в вейпах следы фекалий обнаружили.
36. Разбираемся как бороться с червяками на малине.
37. Самодельный светильник - маленькое чудо для спальни.
38. Маленькая шпаргалка по томатам.
39. Срывать недозрелые плоды или ждать полной зрелости?
40. 5 секретов обильного урожая огурцов.
41. Подготовка почвы к новому сезону: без перекопки, но с пользой.
42. 3 популярных сорта жимолости.
43. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
44. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
45. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
46. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
47. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
48. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
49. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
50. Лучшие Instagram-прокси 2025: полное руководство