Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
2. HE поливайте, когда земля сухая!
3. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
4. Kaким растениям зола не подходит.
5. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
6. Hикогда не ставьте забор обратной стороной к соседу!
7. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
8. Самый возрастной ветеран великой отечественной войны умер.
9. Пoчему лук стoит caжать в клyбнике.
10. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
11. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
12. Аромат осени в банке - яблочное варенье с корицей.
13. Клубника на подоконнике - аромат лета круглый год!
14. Полезная свекольная аджика на зиму.
15. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
16. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
17. Начинайте готовить ягодные кустарники к холодам.
18. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
19. Срывать недозрелые плоды или ждать полной зрелости?
20. Создать овальные подносы можно легко, используя только свои руки.
21. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
22. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
23. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
24. Знаете, зачем завязывают ботву чеснока в узел?
25. Топ-10 бесплатных веб-скрейперов 2025: выбор профессионалов
26. Топ-13 расширений Chrome для веб-скраппинга в 2025 году: обзор и рекомендации
27. Почему гниет клубника на грядках и как этого избежать.
28. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.
29. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.
30. Как правильно скрапить Instagram в 2025: Полное руководство
31. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году
32. Свежие прокси за последнюю минуту: самые актуальные адреса
33. Обновляемый список публичных бесплатных прокси: всегда актуальные данные
34. Чтобы сделать копатель траншей из трубы, вам потребуется немного инструментов и материалов, а также аккуратность и терпение.
35. Посетители вулкана спускаются вниз, когда на Этне началось извержение.
36. Капуста - королева огорода, но и она нуждается в уходе.
37. Какая история стоит за созданием главной площади города
38. Как безопасно купить proxy для Инстаграм: советы и рекомендации
39. Лучшие бесплатные прокси 2025: Надежные и быстрые
40. Список лучших бесплатных proxy серверов: безопасность и анонимность
41. Лучшие приватные прокси 2025: Надежность и безопасность
42. Понимание Твоей Фигуры: 5 Основных Типов и Как Ими Пользоваться
43. Солянка с колбасой и курицей.
44. Эволюция красоты: как менялись эталоны фигуры в XX веке и сейчас
45. Секреты идеальной фигуры: как модели сохраняют свою форму
46. Как найти лучшего поставщика для ваших продуктов Amazon FBA
47. Топ-20 товаров для Amazon FBA в 2025 году: тренды и возможности
48. Какие товары лучше всего продавать на Amazon FBA для большого дохода
49. Как найти продукт для продажи на Amazon FBA: Полное руководство
50. Как быстро найти прибыльные товары для Amazon FBA: полное руководство