Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
2. Общественные пространства окончательно шедевры непреднамеренного уличного идиотизма захватили.
3. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
4. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
5. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
6. В 2200 году марс уже перестал быть мёртвой красной пустыней.
7. Твоё тело работает 24 часа в сутки без твоего участия.
8. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
9. Должны были с женой и родителями лететь на свадьбу сестры.
10. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
11. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
12. Мне 37, молодая и здоровая была, но за год постарела.
13. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
14. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
15. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
16. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
17. Нарциссизм всё чаще связывают именно с генетикой.
18. Мошенники фейковые сообщения от Telegram рассылают.
19. В популярных духах обнаружили потенциально опасные вещества.
20. Туапсе экологическая катастрофа хуже анапской грозит.
21. Кейсы в CS2 и паки Fifa предложили запретить в России.
22. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
23. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
24. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
25. Горсть миндаля в день может заметно улучшить состояние кожи.
26. Топ - 7 наборов семян, которые должны быть у каждого!
27. Домашний интернет в России начали ограничивать для активных пользователей.
28. Когда вид на озеро главным элементом проекта дома становится.
29. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
30. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
31. Рецепт меренгового рулета.
32. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
33. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
34. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
35. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
36. Кoгда усы клубники нужно обрезать?
37. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
38. Очищение сосудов головного мозга.
39. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
40. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
41. Moжет кто не знал этoго.
42. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
43. Это закуска на любом застолье на ура уходит!
44. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
45. А вы знали, что если у девушки долго не было Seksa, то она ….
46. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
47. Пурпурная малина - настоящая Находка для вашего сада!
48. Маленькая шпаргалка по томатам.
49. 5 секретов обильного урожая огурцов.
50. Чем подкармливать морковь в конце лета.