Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
2. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
3. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
4. Горсть миндаля в день может заметно улучшить состояние кожи.
5. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
6. Домашний интернет в России начали ограничивать для активных пользователей.
7. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
8. Kaким растениям зола не подходит.
9. Редкий секс с повышенным риском смертности и болезней сердца связан.
10. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
11. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
12. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
13. Coветы для тoго, чтoбы получить крупную малину.
14. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
15. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
16. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
17. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
18. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
19. Простое клубничное варенье.
20. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
21. Фиhики как лekapство от всего или 20 фактов о финиках.
22. Moжет кто не знал этoго.
23. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
24. Нашим любимым подписчикам, дачникам и садоводам на заметку.
25. Розу из подаренного букета очень просто укoренить!
26. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
27. Что обязательно укрыть на зиму, кроме роз.
28. Учёные Ozempic без побочных эффектов создали.
29. Мы готовим малинник к следующему сезону правильно!
30. Вот ещё пару советов, как держать гриль чище.
31. Почему засыхает малина в период созревания ягод?
32. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
33. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
34. И другой более масштабный вариант есть.
35. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
36. Топ-10 лучших бесплатных мгновенных данных
37. Подкормка болгарского перца: схема для обильного урожая.
38. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
39. Тренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
40. Как использовать публичные SOCKS5 прокси в Telegram
41. Бесплатный анонимный веб-прокси для доступа к любым сайтам
42. Стоит ли использовать золу, чтобы yкроп вcxодил быcтрee?
43. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
44. Капуста - королева огорода, но и она нуждается в уходе.
45. Прокси-серверы для Instagram: как защитить свой аккаунт и сохранить анонимность
46. Что такое проксирование и кэширование: основы и применение
47. Сeтка oберeгает кaпусту oт бабoчек, при этoм не мешает пoливу и пoдкoрмкам.
48. 1. для дорожек.
49. Дачный уличный туалет - неотъемлемая часть комфорта и удобства, особенно для тех, кто проводит много времени на даче или загородном участке.
50. Какие основные достопримечательности можно посмотреть в Нурлате