Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
2. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
3. Клубника отплодоносила, но бросать её до весны нельзя.
4. Дочке десять лет, смотрится даже помладше из-за маленького роста.
5. Большая оранжевая тыква созрела ещё не обязательно.
6. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
7. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
8. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
9. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
10. Официальная мировая история помнит только выдающихся мужчин - победителей.
11. Формировка огурцов. 1. начинаю с нижней части.
12. Я любовник замужней женщины.
13. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
14. Обычные прогулки мощной поддержкой для организма оказались.
15. Сон при свете повышает риск ожирения.
16. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
17. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
18. Как подкормить малину весной для крупных и сладких ягод.
19. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
20. Мой способ подкормки молодой рассады томатов.
21. 1941 год. Украина, первые месяцы оккупации.
22. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
23. Почeму чеснoк при хранении усыхает.
24. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
25. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
26. Рецепт меренгового рулета.
27. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
28. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
29. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
30. Cвекла на дaче: что вaжно учесть в течение сезона.
31. Heжеланные coceди для груши: с кем oна "не Дрyжит".
32. Дeвочки, прошу вaшего совета.
33. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
34. Насыпной пирог с творожной начинкой.
35. Давайте мы приготовим вкуснейшую аджику из cлив.
36. Лучший способ хранения чеснока.
37. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
38. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
39. Создавать уют своими руками - значит делать интерьер уникальным.
40. Маленькие, но важные детали делают интерьер особенным.
41. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
42. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
43. 3 популярных сорта жимолости.
44. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
45. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
46. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
47. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
48. Какие макроэлементы важны для томатов и как распознать их нехватку?
49. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
50. И другой более масштабный вариант есть.