Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
2. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
3. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
4. Яблок много - вроде радоваться надо.
5. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
6. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
7. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
8. В Японии открылся уникальный музей для всех ценителей женских ног.
9. Петербургские депутаты предложили изменить школьную программу полового воспитания.
10. Что я делаю с чесноком, чтобы он снова стал зелёным.
11. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
12. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
13. Туапсе экологическая катастрофа хуже анапской грозит.
14. Как буддийские монахи вышли на протест и столкнулись с полицией.
15. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
16. Этo oдин из тех рецептов, которые всегда выручают.
17. Священник стал маской, чтобы спасти детский приют и жизнь детей.
18. Moй споcoб подкopмки мoлодой рассады тoматов.
19. Mышь в yлье.
20. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
21. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
22. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
23. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
24. Как заставить замиокулькас активно выпускать новые побеги.
25. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
26. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
27. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
28. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
29. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
30. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
31. Аромат осени в банке - яблочное варенье с корицей.
32. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
33. В России начались испытания новой вакцины против аллергии.
34. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
35. Полезная свекольная аджика на зиму.
36. Недорогое средство от пятнистостей на розах.
37. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
38. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
39. Чем подкармливать морковь в конце лета.
40. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
41. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
42. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
43. Вот ещё пару советов, как держать гриль чище.
44. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
45. Топ-15 инструментов для веб-скрейпинга в 2025 году: обзор и рекомендации
46. Топ-7 инструментов для скрапинга Amazon в 2025 году: что выбрать
47. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд
48. ТОП-18 лучших прокси для Telegram 2025
49. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
50. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.