Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
2. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
3. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
4. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
5. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
6. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
7. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
8. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
9. Американец с самым крошечным пенисом в мире на увеличение пошёл.
10. Самые абсурдные законы мира, в которые сложно поверить.
11. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
12. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
13. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
14. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
15. Переехали за город, как давно мечтали.
16. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
17. Современный гейминг оказался исключительно полезен для человеческой психики.
18. Дочку с самого детства учила нести ответственность за свои поступки.
19. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
20. Чем пoдкормить тoматы во время цветения для богатого урожая.
21. Июнь - решающий месяц в борьбе с монилиозом в саду.
22. Я любовник замужней женщины.
23. Когда-то давно у меня был кот с сумасшедшим характером.
24. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
25. Обычный поход в туалет потерей памяти закончился.
26. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
27. У китайцев принято чавкать.
28. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
29. Слова - обереги, которые важно знать:
30. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
31. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
32. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
33. Пoлезный чай для печени и жёлчного пузыря.
34. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
35. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
36. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
37. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
38. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
39. Ha 2-й день ещё вкycнее.
40. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
41. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
42. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
43. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
44. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
45. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
46. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
47. Мощный шторм на Москву надвигается.
48. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
49. Как ухаживать за астрами для пышного цветения.
50. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.