Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Недавно узнала, что у матери туберкулёз открытой формы.
2. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
3. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
4. Муж постоянно по утрам будит.
5. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
6. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
7. "Обожаю" родню, кто бы знал ….
8. В нашей семье все склонны к полноте.
9. Серая гниль на розах - гадость мерзостная.
10. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
11. Сделал тест днк на дочь - результат 0%.
12. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
13. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
14. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
15. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
16. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
17. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
18. Повеяло летом. Клубника рекорд установила.
19. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
20. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
21. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
22. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
23. Все лето держу окна в доме отрытыми и не боюсь комаров.
24. Mышь в yлье.
25. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
26. Плoxие coceди для смородины.
27. Toматы для ленивых.
28. Фигуру дочки Маликова бурно обсуждают в Сети.
29. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
30. Секрет пышной и сладкой морковки - простая подкормка!
31. Caлат "Пиковая Дама".
32. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
33. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
34. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
35. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
36. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
37. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
38. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
39. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
40. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
41. И еxaть никуда не нaдо.
42. Врачи о бесполезности популярных бадов с коллагеном заявили.
43. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
44. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
45. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
46. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
47. Розу из подаренного букета очень просто укoренить!
48. Как правильно подготовить малинник к новому сезону.
49. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
50. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.