Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Был женат на японке 3 года.
2. Один взлом может превратить умный пояс верности в настоящий замок.
3. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
4. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
5. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
6. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
7. Чуть не оставила фасоль на грядке до полного высыхания.
8. В 11 лет я сломала нос.
9. После последней ягоды про клубнику легко забыть до следующей весны.
10. С мужем поженились рано, родили дочку.
11. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
12. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
13. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
14. Сняли лук или ранний картофель и бросили голую грядку до весны?
15. Должны были с женой и родителями лететь на свадьбу сестры.
16. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
17. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
18. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
19. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
20. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
21. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
22. Дочку с самого детства учила нести ответственность за свои поступки.
23. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
24. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
25. Клубнику от долгоносика спасаю ещё до цветения.
26. Так томаты в теплицу не просто так высаживают.
27. Завязей на томатах будет море, а фитофтора обойдёт стороной.
28. Препараты от болезней томатов!
29. Туапсе экологическая катастрофа хуже анапской грозит.
30. Полёты к луне снова реальностью спустя десятилетия стали.
31. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
32. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
33. Нетипичные плодовые культуры для северного сада.
34. Hикогда не выращивайте tomаты и перец без этого!
35. Пocледний бoй тоpepo альваро муньеры.
36. Hacтойка, приготовленная по традиционному рецепту:
37. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
38. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
39. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
40. Мы применяем просроченные лекарства.
41. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
42. Арапайма звучит как имя из глубокой древности, и недаром.
43. Этот робот не просто убирает ваш дом - он его изучает.
44. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
45. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
46. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
47. Морозостойкие сорта гибридной хурмы.
48. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
49. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.