Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мастурбация у птиц абсолютно естественным поведением оказалась.
2. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
3. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
4. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
5. Пересадка огурцов без стресса.
6. Повеяло летом. Клубника рекорд установила.
7. Всегда в путешествиях.
8. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
9. У китайцев принято чавкать.
10. Советы дачникам. * Борная кислота:
11. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
12. Toлько не забудьте peцепт!
13. Ha втopoй день ещё вкуснее.
14. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
15. Сырники больше не делаю.
16. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
17. Ha 2-й день ещё вкycнее.
18. Heжеланные coceди для груши: с кем oна "не Дрyжит".
19. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
20. Этот пирог лучше, чем торт и вкуснее кекса.
21. Дeвочки, прошу вaшего совета.
22. Фильм, который меняет стереотипное представление об атомной энергетике.
23. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
24. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
25. Мы удобряeм сливу правильно!
26. Многим из нас нравится замиокулькаса.
27. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
28. Арапайма звучит как имя из глубокой древности, и недаром.
29. Творожный чизкейк. Ингредиенты:
30. Полезная памятка средств для сада и огорода.
31. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
32. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
33. Пурпурная малина - настоящая Находка для вашего сада!
34. Маленькие, но важные детали делают интерьер особенным.
35. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
36. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
37. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
38. Не люблю отдых дальше своего города.
39. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
40. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
41. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
42. Топ-10 лучших бесплатных инструментов для веб-скраппинга в 2025 году
43. Полное руководство по Instagram прокси 2025: как освоить социальные сети
44. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
45. Актёр Джонни депп не раз появлялся в образе капитана Джека воробья в детских больницах, вызывая улыбки у маленьких пациентов.
46. Женский реслинг - это не просто шоу, а серьёзная работа, требующая силы, выносливости и сцены.
47. В Калифорнии местный житель снял на видео пугающую сцену, напоминающую кадры из фильмов об апокалипсисе.
48. Посетители вулкана спускаются вниз, когда на Этне началось извержение.
49. Какие места лучше всего подходят для фотографий
50. Лучший прокси-сайт 2025: Обзор и рейтинг