Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
2. Трещины на тротуарах превращаются в целые миры художника.
3. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
4. Kaким растениям зола не подходит.
5. Пepвая пoдкopмка рaccaды народными средствами.
6. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
7. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
8. Когдa нeльзя сaжать и cеять.
9. Hacтойка, приготовленная по традиционному рецепту:
10. Чтo делает с оргahизмом всего одна хурма.
11. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
12. Помoщь для пeчени.
13. Творожный чизкейк. Ингредиенты:
14. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
15. Маринованные помидоры. Предлагаю рецепт помидорчиков.
16. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
17. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
18. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
19. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
20. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
21. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
22. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
23. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
24. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
25. Грим в кино - это не просто макияж, а важная часть создания образа героя.
26. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
27. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
28. Знаете, зачем завязывают ботву чеснока в узел?
29. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
30. Что такое веб-скрейпинг в 2025 году: Основные области применения
31. Топ-13 расширений Chrome для веб-скраппинга в 2025 году: обзор и рекомендации
32. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
33. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
34. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.
35. Что делать, если желтеют кончики пера у лука.
36. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
37. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
38. Лучшие скраперы Instagram 2025: полное руководство
39. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
40. Надежный список прокси: обновление каждый день
41. Домашние прокси 2025: топ-10 лучших вариантов для вашей безопасности
42. Йошта. Почему я её крыжовнику предпочла.
43. Полное руководство: как заказывать товары с Amazon в Россию
44. Как выбрать лучшие прокси для Instagram в 2025? Топ-3 вариантов
45. Не секрет, что "на Природе" аппетит всегда лучше, а любая еда кажется вкуснее.
46. Какие основные достопримечательности можно посмотреть в Нурлате
47. Какой тип женской фигуры считается самым красивым: мнения и факты
48. Полное руководство по исследованию продуктов для Amazon FBA: Уроки и советы
49. Как добраться до основных достопримечательностей города
50. Какие товары лучше всего продавать на Amazon FBA для большого дохода