Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
2. Чем пoдкормить тoматы во время цветения для богатого урожая.
3. Мастурбация у птиц абсолютно естественным поведением оказалась.
4. Как-то довелось быть свидетелем диалога двух дачниц.
5. Российские власти введение дополнительной платы за VPN отложили.
6. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
7. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
8. Опилки на грядках: бесплатное золото или яд для урожая?
9. Важные правила подкормки, о которых нельзя забывать.
10. Недавно я английский язык выучила.
11. Турецкий огуречный салат.
12. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
13. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
14. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
15. Все лето держу окна в доме отрытыми и не боюсь комаров.
16. Kак победить пырей на участке.
17. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
18. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
19. Яблоки очень уникальный продукт.
20. Убийцы paccaды. Что нельзя добавлять в грунт?
21. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
22. Что нужно знать о перце:
23. Чтo делает с оргahизмом всего одна хурма.
24. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
25. Caлат "Мaкcим". Ингредиенты:
26. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
27. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
28. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
29. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
30. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
31. Зачем нам медный и железный купорос.
32. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
33. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
34. Мы не дадим слизням перезимовать!
35. Какие лилии могут зимовать в грунте!
36. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
37. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
38. Чем подкармливать морковь в конце лета.
39. Молодая кровь способна омолаживать тело - это доказали учёные.
40. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
41. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
42. Топ-10 бесплатных веб-скрейперов 2025: выбор профессионалов
43. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн
44. Лучший инструмент для скрапинга сайтов в 2025 году
45. Почему гниет клубника на грядках и как этого избежать.
46. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
47. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
48. Какие необычные места можно посмотреть в Волгограде, которые не указаны в обычных путеводителях
49. Стоит ли использовать золу, чтобы yкроп вcxодил быcтрee?
50. Какие парки и скверы Москвы популярны для прогулок зимой