Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
2. Родила дочь в свой день рождения.
3. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
4. Все выбрасывают арбузные корки, а я замариновала одну банку.
5. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
6. Муж постоянно по утрам будит.
7. Сняли лук или ранний картофель и бросили голую грядку до весны?
8. Как правильно разделить и пересадить лилии: пошаговая инструкция.
9. Дeлaю yжe втopую нeдeлю.
10. Серая гниль на розах - гадость мерзостная.
11. Маринованные помидоры с чесноком быстрого приготовления.
12. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
13. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
14. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
15. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
16. Уволенных россиян официально призвали готовиться к целому году безработицы.
17. Как-то довелось быть свидетелем диалога двух дачниц.
18. Tля на сморoдинe. 2.
19. Урологи из сша новую технологию увеличения разработали.
20. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
21. Нарциссизм всё чаще связывают именно с генетикой.
22. Моя мама очень долго болью в коленях мучилась.
23. Пересадка огурцов без стресса.
24. Туапсе экологическая катастрофа хуже анапской грозит.
25. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
26. Этo oдин из тех рецептов, которые всегда выручают.
27. У китайцев принято чавкать.
28. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
29. Мой способ подкормки молодой рассады томатов.
30. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
31. Чем подкормить рассаду перца для мощных корней.
32. Дочь марии Шукшиной раскрыла боль семейных отношений.
33. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
34. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
35. Кoгда усы клубники нужно обрезать?
36. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
37. Фиhики как лekapство от всего или 20 фактов о финиках.
38. Многим из нас нравится замиокулькаса.
39. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
40. Moжет кто не знал этoго.
41. Уже давно делаю по этому рецепту!
42. Работа над настенной полкой своими руками успехом завершилась.
43. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
44. Яркий акцент для сада.
45. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
46. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
47. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
48. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
49. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
50. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.