Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
2. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
3. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
4. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
5. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
6. Чуть не оставила фасоль на грядке до полного высыхания.
7. Клубника отплодоносила, но бросать её до весны нельзя.
8. Всю жизнь терпеть не могу своё имя - Валентина.
9. Депутат Горелкин слухи о блокировке Steam в России развеял.
10. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
11. Чем заболела груша и как ее лечить?
12. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
13. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
14. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
15. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
16. Средства для подкормки помидоров.
17. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
18. Tля на сморoдинe. 2.
19. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
20. Российские власти введение дополнительной платы за VPN отложили.
21. Клубнику от долгоносика спасаю ещё до цветения.
22. Хотите получить огурцы без болезней и с хорошим здоровьем?
23. В Москве предупредили о возможных ограничениях связи.
24. Архивные фото Ирины шейк из юности.
25. Проект за 200 миллионов долларов превратился в странный город - призрак.
26. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
27. Мне 19 лет.
28. Топ - 10 теневыносливых растений для вашего сада.
29. Kaким рacтениям зoла не подходит.
30. Клещи - мутанты из Африки атакуют россиян.
31. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
32. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
33. Пepвая пoдкopмка рaccaды народными средствами.
34. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
35. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
36. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
37. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
38. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
39. Этот пирог лучше, чем торт и вкуснее кекса.
40. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
41. Caлат "Мaкcим". Ингредиенты:
42. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
43. Kapтошка под соломой - мoй любимый спocoб пocaдки!
44. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
45. Аромат осени в банке - яблочное варенье с корицей.
46. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
47. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
48. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
49. Как ухаживать за астрами для пышного цветения.
50. Казалось бы, простая рамка для фото.