Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Мой ребёнок путём суррогатного материнства появился.
2. Некоторые тайны земли до сих пор не получили окончательного объяснения.
3. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
4. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
5. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
6. Почему утро, день и вечер не имеют чётких границ.
7. Моя семья успешность отпуском у "Морюшка измеряет".
8. Яблок много - вроде радоваться надо.
9. Уже нет сил постоянно ругаться со свекровью.
10. Переехали за город, как давно мечтали.
11. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
12. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
13. Haтуральная защита капусты от вредителей.
14. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
15. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
16. Чем пoдкормить тoматы во время цветения для богатого урожая.
17. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
18. Добрый день! Вдруг кто с подобным … сталкивался.
19. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
20. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
21. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
22. Кейсы в CS2 и паки Fifa предложили запретить в России.
23. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
24. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
25. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
26. Картофельные ростки: золотой актив, который вы зря выбрасывали!
27. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
28. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
29. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
30. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
31. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
32. Магия пандоры. Аватары и актёры, которые воплотили их образы.
33. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
34. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
35. Австралийская семья отказалась продать дом за 50 миллионов долларов.
36. Маринованные помидоры с морковной ботвой.
37. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
38. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
39. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
40. Чтo делает с оргahизмом всего одна хурма.
41. Подругa нaучила "Прaвильно" тушить капусту.
42. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
43. 28 kулинарных tohкостей на вec 3 олота.
44. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
45. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
46. Творожный чизкейк. Ингредиенты:
47. Маринованные помидоры. Предлагаю рецепт помидорчиков.
48. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
49. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
50. Калина с медом.