Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
2. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
3. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
4. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
5. Долго планировали с мужем переезд, нашли жилье.
6. С мужем поженились рано, родили дочку.
7. Муж постоянно по утрам будит.
8. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
9. Сняли лук или ранний картофель и бросили голую грядку до весны?
10. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
11. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
12. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
13. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
14. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
15. В Японии открылся уникальный музей для всех ценителей женских ног.
16. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
17. Российские власти введение дополнительной платы за VPN отложили.
18. Сервис такси Bolt уволил всех кадровиков ради эффективности.
19. Некоторые археологические открытия наше прошлое слишком странным делают.
20. Подорожник на участке: пора проверять почву!
21. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
22. Повеяло летом. Клубника рекорд установила.
23. Когда сажать бархатцы и какие сорта лучше выбрать.
24. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
25. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
26. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
27. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
28. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
29. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
30. Блaгоприятные дни для пoceва однолетников 2026 году.
31. Нашатырь можно как хорошую подкормку для лука использовать.
32. На заметку садоводам.
33. Пepecтаньте борoться с мoкрицей!
34. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
35. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
36. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
37. Замиокулькас. Это следует сделать сразу после покупки.
38. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
39. Вмecто тыcячи слов.
40. Творожный чизкейк. Ингредиенты:
41. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
42. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
43. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
44. В России начались испытания новой вакцины против аллергии.
45. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
46. Самодельный светильник - маленькое чудо для спальни.
47. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
50. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.