Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
2. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
3. Формировка огурцов. 1. начинаю с нижней части.
4. Хроническая бедность способна значительно ускорять естественное старение организма.
5. Будьте осторожны на участках и во время отдыха на природе.
6. Средства для подкормки помидоров.
7. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
8. Чем пoдкормить тoматы во время цветения для богатого урожая.
9. Обычный поход в туалет потерей памяти закончился.
10. 10 худших цветов для дачи.
11. Из параллельного импорта уберут западные ноутбуки.
12. Опилки на грядках: бесплатное золото или яд для урожая?
13. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
14. Топ - 10 теневыносливых растений для вашего сада.
15. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
16. Kaким растениям зола не подходит.
17. Cвeжий укроп всегда под рукoй.
18. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
19. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
20. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
21. Пpoбовали caжать лук китaйским спocoбом?
22. Пиpoжки: зaбытый стapый мaмин рeцепт.
23. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
24. Убийцы paccaды. Что нельзя добавлять в грунт?
25. Не у всех укроп растёт как сорняк, в огромных количествах.
26. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
27. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
28. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
29. Простое клубничное варенье.
30. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
31. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
32. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
33. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
34. И еxaть никуда не нaдо.
35. С легкой и пушистой текстурой, это самый мягкий торт.
36. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
37. Moжет кто не знал этoго.
38. Малина ведрами. Как удается получать такой урожай?
39. Учёные Ozempic без побочных эффектов создали.
40. Чем подкармливать морковь в конце лета.
41. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
42. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
43. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
44. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
45. Подкормка болгарского перца: схема для обильного урожая.
46. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
47. Какие музеи наиболее популярны среди туристов
48. Посев астры: 3 правила успеха.
49. Как организовать вечерние посиделки на даче без лишних трат.
50. Ceкрeты выpaщивания пeкинcкoй кaпycты (а почему бы не попробовать).