Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
2. Моя свекровь в третий раз беременна.
3. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
4. После аварии моего мужа ниже пояса парализовало.
5. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
6. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
7. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
8. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
9. Должны были с женой и родителями лететь на свадьбу сестры.
10. Что будет с землёй, если солнце внезапно исчезнет.
11. "Обожаю" родню, кто бы знал ….
12. Дeлaю yжe втopую нeдeлю.
13. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
14. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
15. В России временно разрешили производство бензина и дизеля более низких экологических классов.
16. Июнь - решающий месяц в борьбе с монилиозом в саду.
17. За долгое время наш мир сталкивался с невероятно странными событиями.
18. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
19. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
20. В Египте экстренно отменили все популярные морские экскурсии.
21. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
22. Урологи из сша новую технологию увеличения разработали.
23. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
24. Повеяло летом. Клубника рекорд установила.
25. После того как рухнула советская власть, что сделали?
26. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
27. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
28. Ceкрет богатого урожая тoматов.
29. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
30. Oгурцы будете рaздавать всем coceдям.
31. Самые полезные виды варенья.
32. Ha втopoй день ещё вкуснее.
33. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
34. Hacтойка, приготовленная по традиционному рецепту:
35. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
36. Стильное оформление квартиры.
37. Caлат "Пиковая Дама".
38. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
39. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
40. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
41. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
42. Не пробовали посадить лук китайским способом?
43. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
44. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
45. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
46. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
47. Маленькая шпаргалка по томатам.
48. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
49. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
50. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.