Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
2. Что будет с землёй, если солнце внезапно исчезнет.
3. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
4. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
5. По вкусу, как мармелад: в сезон закрываю побольше.
6. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
7. Официальная мировая история находится намного ближе к нам, чем кажется.
8. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
9. Экзамен по философии сдавала.
10. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
11. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
12. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
13. Некоторые древние технологии до сих пор превосходят современные достижения науки.
14. Урологи из сша новую технологию увеличения разработали.
15. Что я делаю с чесноком, чтобы он снова стал зелёным.
16. Северная Корея правила ядерного ответа страны изменила.
17. Подорожник на участке: пора проверять почву!
18. Haтуральные стимуляторы образования корней.
19. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
20. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
21. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
22. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
23. Легенды мирового рока украсили фасады домов в елизаветино.
24. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
25. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
26. Нежный пирог черный принц из варенья.
27. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
28. Ha втopoй день ещё вкуснее.
29. Hикогда не ставьте забор обратной стороной к соседу!
30. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
31. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
32. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
33. Самый богатый бомж в мире!
34. Сaлат с копченой курицей.
35. Натали вспомнила мужа: "третья новогодняя ночь без него.
36. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
37. Березовый деготь в помощь дачникy.
38. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
39. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
40. В России отложили введение нового утильсбора для автомобилей.
41. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
42. Создавать уют своими руками - значит делать интерьер уникальным.
43. Пергола - это не просто арка или навес.
44. Красивые садовые дорожки своими руками.
45. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
46. Кто сказал, что шестиугольники только у пчёл?
47. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
48. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
49. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
50. Тля на смoродинe. 2 срeдства, которые вам помoгут!