Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Дочке десять лет, смотрится даже помладше из-за маленького роста.
2. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
3. Должны были с женой и родителями лететь на свадьбу сестры.
4. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
5. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
6. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
7. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
8. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
9. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
10. Haтуральная защита капусты от вредителей.
11. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
12. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
13. Клубнику от долгоносика спасаю ещё до цветения.
14. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
15. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
16. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
17. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
18. Чем подкормить рассаду перца для мощных корней.
19. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
20. Помoгаем печени утpoм, днем и вечером!
21. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
22. Никогда не выращивайте томаты и перец без этого!
23. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
24. Рецепт меренгового рулета.
25. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
26. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
27. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
28. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
29. Как правильно ухаживать за фиалками.
30. Этот робот не просто убирает ваш дом - он его изучает.
31. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
32. Полезная памятка средств для сада и огорода.
33. Россиян ожидает резкое повышение тарифов на электроэнергию.
34. В России начались испытания новой вакцины против аллергии.
35. Как правильно подготовить малинник к новому сезону.
36. Пергола - это не просто арка или навес.
37. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
38. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
39. Очень вкусная аджика на зиму!
40. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
41. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
42. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
43. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
44. Лето без арбуза и дыни - не лето!
45. Ароматная и легкая в приготовлении соль невероятно.
46. Топ-7 инструментов для веб-скраппинга в 2025 году: что выбрать
47. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
48. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
49. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
50. ТОП-18 лучших прокси для Telegram 2025