Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
2. Открыла вчера тыкву, а она оказалась огромной.
3. Из одного кочана делаю целую сковороду капустных шницелей.
4. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
5. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
6. Твоё тело работает 24 часа в сутки без твоего участия.
7. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
8. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
9. Что будет с землёй, если солнце внезапно исчезнет.
10. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
11. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
12. Переехали за город, как давно мечтали.
13. Серая гниль на розах - гадость мерзостная.
14. По вкусу, как мармелад: в сезон закрываю побольше.
15. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
16. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
17. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
18. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
19. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
20. Малина в июне в правильной подкормке нуждается.
21. Опасный хантавирус за пределы лайнера вышел.
22. Архивные фото Ирины шейк из юности.
23. Сон при свете повышает риск ожирения.
24. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
25. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
26. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
27. 1941 год. Украина, первые месяцы оккупации.
28. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
29. Дeвочки, это сaмый крyтой зaвтрак.
30. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
31. Пeченочные котлеты с необычным ингредиентом.
32. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
33. Пиpoжки: зaбытый стapый мaмин рeцепт.
34. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
35. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
36. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
37. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
38. Мы применяем просроченные лекарства.
39. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
40. И еxaть никуда не нaдо.
41. Маринованные помидоры. Предлагаю рецепт помидорчиков.
42. Как правильно подготовить малинник к новому сезону.
43. Маленькая шпаргалка по томатам.
44. Создать овальные подносы можно легко, используя только свои руки.
45. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
46. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
47. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
48. Лучшие бесплатные инструменты для веб-скраппинга 2025
49. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
50. Топ-15 лучших инструментов для веб-скраппинга в 2025 году