Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. На земле существуют места, которые выглядят как ошибка реальности.
3. Некоторые страны готовы платить за переезд, но бесплатные деньги оказались ловушкой.
4. Эти невероятные вещи заставляют усомниться в реальности.
5. Живём с мужем в квартире, которая до брака принадлежала мужу.
6. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
7. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
8. Кислую сливу, от которой за столом морщатся, я берегу для джема.
9. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
10. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
11. Должны были с подружкой пойти в субботу на пробежку.
12. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
13. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
14. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
15. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
16. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
17. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
18. Собрали последнюю малину и забыли про кусты?
19. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
20. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
21. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
22. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
23. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
24. Добрый день! Вдруг кто с подобным … сталкивался.
25. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
26. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
27. Нарциссизм всё чаще связывают именно с генетикой.
28. Плитка из ведерка от майонеза: дачный шик своими руками.
29. Из параллельного импорта уберут западные ноутбуки.
30. Одни из первых протезов использовали ещё в эпоху древнего Рима.
31. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
32. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
33. Полёты к луне снова реальностью спустя десятилетия стали.
34. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
35. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
36. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
37. Ли польза в кoмпоте ecть?
38. На заметку садоводам.
39. Heжеланные coceди для груши: с кем oна "не Дрyжит".
40. Многим из нас нравится замиокулькаса.
41. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
42. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
43. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
44. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
45. Мы не дадим слизням перезимовать!
46. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
47. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
50. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.