Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Цветную капусту у нас обычно едят без большого восторга.
2. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
3. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
4. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
5. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
6. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
7. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
8. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
9. МРТ Плода показывает мозг и глаза сквозь кости черепа.
10. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
11. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
12. Яблок много - вроде радоваться надо.
13. Маринованные огурцы с красной смородиной без уксуса.
14. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
15. Haтуральная защита капусты от вредителей.
16. Будьте осторожны на участках и во время отдыха на природе.
17. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
18. В Египте экстренно отменили все популярные морские экскурсии.
19. Мошенники фейковые сообщения от Telegram рассылают.
20. Из параллельного импорта уберут западные ноутбуки.
21. Пересадка огурцов без стресса.
22. Совет по рассаде томатов.
23. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
24. Полёты к луне снова реальностью спустя десятилетия стали.
25. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
26. Слова - обереги, которые важно знать:
27. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
28. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
29. Фунчоза с овощами.
30. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
31. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
32. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
33. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
34. Вот так выглядит архитектура, когда пространства почти не осталось.
35. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
36. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
37. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
38. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
39. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
40. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
41. Творожный чизкейк. Ингредиенты:
42. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
43. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
44. В России начались испытания новой вакцины против аллергии.
45. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
46. Как избавиться от грызунов на даче простыми средствами.
47. Яркий акцент для сада.
48. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
49. Подготовка почвы к новому сезону: без перекопки, но с пользой.
50. Как спасти огурцы от мучнистой росы.