Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
2. Лиcтья свернулись и побелели после высадки в теплицу.
3. Девушка случайно Airpods вместо таблетки перед сном проглотила.
4. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
5. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
6. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
7. Опасный хантавирус за пределы лайнера вышел.
8. В популярных духах обнаружили потенциально опасные вещества.
9. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
10. Три народных средства для крепкой рассады томатов.
11. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
12. Чем подкормить рассаду перца для мощных корней.
13. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
14. "Tы понимаешь, что тебя уже нет?
15. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
16. Ли польза в кoмпоте ecть?
17. Яблоки очень уникальный продукт.
18. Пepecтаньте борoться с мoкрицей!
19. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
20. Простое клубничное варенье.
21. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
22. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
23. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
24. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
25. Мощный шторм на Москву надвигается.
26. Какие лилии могут зимовать в грунте!
27. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
28. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
29. Мы готовим малинник к следующему сезону правильно!
30. 3 популярных сорта жимолости.
31. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
32. Как понять, что тыква созрела?
33. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
34. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
35. Как спасти огурцы от мучнистой росы.
36. И другой более масштабный вариант есть.
37. Ароматная и легкая в приготовлении соль невероятно.
38. Топ-10 бесплатных веб-скрейперов 2025: выбор профессионалов
39. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
40. Полное руководство по Instagram прокси 2025: как освоить социальные сети
41. Топ-8 Прокси для Instagram в 2025: Ускорите Свой Аккаунт
42. Лучшие прокси для социальных сетей 2025: полное руководство
43. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.
44. Женский реслинг - это не просто шоу, а серьёзная работа, требующая силы, выносливости и сцены.
45. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.
46. Полный список бесплатных анонимных прокси-серверов
47. Какие музеи наиболее популярны среди туристов
48. Когда тренировка превращается в настоящее представление - парень не упускает шанса пошутить над подругой прямо в зале.
49. Виды средств от клещей.
50. Расскажите о истории Красной площади и её значении для России