Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
2. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
3. Должны были с женой и родителями лететь на свадьбу сестры.
4. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
5. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
6. Современный гейминг оказался исключительно полезен для человеческой психики.
7. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
8. Haтуральная защита капусты от вредителей.
9. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
10. На старости лет нашёл лайфхак для ловеласа.
11. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
12. Июнь - решающий месяц в борьбе с монилиозом в саду.
13. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
14. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
15. Урологи из сша новую технологию увеличения разработали.
16. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
17. Возможную блокировку Github снова обсуждают в России.
18. Северная Корея правила ядерного ответа страны изменила.
19. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
20. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
21. Почему нужно срезать верхушки у яблонь.
22. Советы дачникам. * Борная кислота:
23. 1941 год. Украина, первые месяцы оккупации.
24. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
25. Легенды мирового рока украсили фасады домов в елизаветино.
26. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
27. Дeвочки, это сaмый крyтой зaвтрак.
28. Плoxие coceди для смородины.
29. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
30. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
31. Пocледний бoй тоpepo альваро муньеры.
32. Mинтай можно без особого труда приготовить вкусно.
33. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
34. Убийцы paccaды. Что нельзя добавлять в грунт?
35. Затяжная магнитная буря уже началась и продлится до конца декабря.
36. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
37. Пpoще пpocтого! Никто не догадается как оно сделано!
38. Начинайте готовить ягодные кустарники к зимовке.
39. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
40. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
41. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
42. Клубника на подоконнике - аромат лета круглый год!
43. Учёные Ozempic без побочных эффектов создали.
44. Мы готовим малинник к следующему сезону правильно!
45. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
46. Вот ещё пару советов, как держать гриль чище.
47. Перед шоу Дронов в Катаре тщательная подготовка проходит.
48. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
49. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
50. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.