Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
2. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
3. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
4. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
5. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
6. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
7. Всю жизнь терпеть не могу своё имя - Валентина.
8. Американец с самым крошечным пенисом в мире на увеличение пошёл.
9. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
10. Как правильно разделить и пересадить лилии: пошаговая инструкция.
11. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
12. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
13. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
14. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
15. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
16. Уволенных россиян официально призвали готовиться к целому году безработицы.
17. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
18. Обычные прогулки мощной поддержкой для организма оказались.
19. В популярных духах обнаружили потенциально опасные вещества.
20. Хитрости выращивания кабачков:
21. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
22. Гигантский астероид скоро рядом с землёй пройдёт.
23. Советы дачникам. * Борная кислота:
24. Три народных средства для крепкой рассады томатов.
25. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
26. 1941 год. Украина, первые месяцы оккупации.
27. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
28. Kак победить пырей на участке.
29. Этой весной Россию накроет массовое нашествие комаров и клещей.
30. "Tы понимаешь, что тебя уже нет?
31. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
32. Ceйчас я делаю блинчики, которые тают во рту!
33. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
34. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
35. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
36. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
37. Простое клубничное варенье.
38. Очищение сосудов головного мозга.
39. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
40. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
41. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
42. Помoщь для пeчени.
43. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
44. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
45. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
46. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
47. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
48. Как избавиться от грызунов на даче простыми средствами.
49. Красивые садовые дорожки своими руками.
50. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.