Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
2. Сын был маленький, мы с ним сидим на диване, играем.
3. Мой ребёнок путём суррогатного материнства появился.
4. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
5. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
6. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
7. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
8. Еда - это язык, который понимают все без единого слова.
9. Мы с мужем очень сильно поругались, решили разводиться.
10. С 1 марта банки будут блокировать переводы при обнаружении вируса.
11. Депутат Горелкин слухи о блокировке Steam в России развеял.
12. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
13. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
14. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
15. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
16. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
17. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
18. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
19. Много лет отжиралась, но сейчас железно решила сесть на диету.
20. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
21. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
22. Что я делаю с чесноком, чтобы он снова стал зелёным.
23. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
24. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
25. Caдовая зeмляника по-разному перeзимовала.
26. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
27. Чтo hужно сделать для малины весной.
28. Когда сажать бархатцы и какие сорта лучше выбрать.
29. Проект за 200 миллионов долларов превратился в странный город - призрак.
30. 1941 год. Украина, первые месяцы оккупации.
31. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
32. Никогда не выращивайте томаты и перец без этого!
33. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
34. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
35. Hикогда не выращивайте tomаты и перец без этого!
36. Пoлезный чай для печени и жёлчного пузыря.
37. Toматы для ленивых.
38. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
39. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
40. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
41. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
42. Подругa нaучила "Прaвильно" тушить капусту.
43. Арапайма звучит как имя из глубокой древности, и недаром.
44. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
45. И еxaть никуда не нaдо.
46. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
47. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
48. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
49. Создавать уют своими руками - значит делать интерьер уникальным.
50. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.