Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. У некоторых масок за эффектной внешностью скрывается целая эпоха.
2. Крупный сбой Beget затронул работу сайтов рунета.
3. "Женщин Нужно Загнать в Беременность" - россиянкам старше 38 лет хотят отменить бесплатное ЭКО.
4. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
5. Поссорились с женой.
6. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
7. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
8. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
9. В нашей семье все склонны к полноте.
10. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
11. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
12. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
13. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
14. Здоровый быт начинается с внимания к предметам, которые вас окружают.
15. За долгое время наш мир сталкивался с невероятно странными событиями.
16. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
17. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
18. Клубнику от долгоносика спасаю ещё до цветения.
19. Опасный хантавирус за пределы лайнера вышел.
20. Всегда в путешествиях.
21. Ваши вопросы: пожелтела совсем туя после зимы.
22. В Госдуме предложили необычный способ провести время без интернета.
23. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
24. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
25. Клещи - мутанты из Африки атакуют россиян.
26. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
27. Toматы для ленивых.
28. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
29. Нашатырь можно как хорошую подкормку для лука использовать.
30. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
31. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
32. Сырники больше не делаю.
33. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
34. Этот пирог лучше, чем торт и вкуснее кекса.
35. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
36. Подругa нaучила "Прaвильно" тушить капусту.
37. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
38. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
39. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
40. Как правильно ухаживать за фиалками.
41. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
42. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
43. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
44. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
45. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
46. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
47. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
48. А вы знали, что если у девушки долго не было Seksa, то она ….
49. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
50. Красивые садовые дорожки своими руками.