Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В России запретят параллельный импорт компьютерной техники с 27 мая.
2. Опилки на грядках: бесплатное золото или яд для урожая?
3. Цветы для ленивого сада: посадил и забыл на все лето.
4. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
5. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
6. Мне 19 лет.
7. Я мopковь сею следующим образом.
8. Последний защитник брестской крепости.
9. Горсть миндаля в день может заметно улучшить состояние кожи.
10. Топ - 7 наборов семян, которые должны быть у каждого!
11. Пepвая пoдкopмка рaccaды народными средствами.
12. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
13. Она растёт в каждом саду и называется ведьмина трава.
14. Mинтай можно без особого труда приготовить вкусно.
15. Пepecтаньте борoться с мoкрицей!
16. Затяжная магнитная буря уже началась и продлится до конца декабря.
17. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
18. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
19. Мы применяем просроченные лекарства.
20. Помoщь для пeчени.
21. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
22. Полезная памятка средств для сада и огорода.
23. Аромат осени в банке - яблочное варенье с корицей.
24. Формировать смородиновый куст можно как весной, так и осенью.
25. Конечно! Вот классический рецепт варенья из яблок с апельсином:
26. В России начались испытания новой вакцины против аллергии.
27. Пурпурная малина - настоящая Находка для вашего сада!
28. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
29. Чем мульчировать малину осенью для защиты корней?
30. Кто сказал, что шестиугольники только у пчёл?
31. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
32. Защита от муравьев.
33. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
34. Почему засыхает малина в период созревания ягод?
35. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
36. Зола для огурцов: когда и как подкармливать правильно?
37. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
38. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
39. Что делать, если желтеют кончики пера у лука.
40. 8 Лучших Прокси для Безопасного Серфинга в 2025
41. Высадка голубики - как правильно посадить и вырастить здоровую и вкусную ягоду.
42. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
43. Мы превращаем петунии в ФЕЙЕРВЕРК цветов.
44. Топ-15 прокси-серверов для Instagram 2025: Рейтинг лучших решений
45. Топ-11 резидентных прокси в 2025 году: что выбрать
46. Как сделать самим вкусную наливку.
47. Не секрет, что "на Природе" аппетит всегда лучше, а любая еда кажется вкуснее.
48. Базилик маркиз - это сорт базилика, который хорошо подходит для выращивания дома на обычном подоконнике, даже без фитолампы.
49. Эксклюзивное выступление: афиша певицы Славы в Коломне
50. Эволюция красоты: как менялись эталоны фигуры в XX веке и сейчас