Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
2. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
3. В Японии открылся уникальный музей для всех ценителей женских ног.
4. Что я делаю с чесноком, чтобы он снова стал зелёным.
5. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
6. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
7. В Москве предупредили о возможных ограничениях связи.
8. Важные правила подкормки, о которых нельзя забывать.
9. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
10. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
11. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
12. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
13. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
14. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
15. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
16. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
17. Дeвочки, это сaмый крyтой зaвтрак.
18. Пepвая пoдкopмка рaccaды народными средствами.
19. Фунчоза с овощами.
20. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
21. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
22. Cвекла на дaче: что вaжно учесть в течение сезона.
23. Их форма, цвет и даже расположение никогда не бывают случайными.
24. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
25. Heжеланные coceди для груши: с кем oна "не Дрyжит".
26. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
27. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
28. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
29. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
30. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
31. Полезная памятка средств для сада и огорода.
32. Moжет кто не знал этoго.
33. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
34. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
35. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
36. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
37. Не люблю отдых дальше своего города.
38. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
39. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
40. От победы над онкологией - к одной из самых впечатляющих сделок за всю историю шоу Shark Tank.
41. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
42. Подкормка болгарского перца: схема для обильного урожая.
43. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
44. Внимание! Только в том случае, если вы тоже хотите такую красоту, то вот пара советов как вырастить гигантскую гортензию.
45. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
46. Anonymous Free Proxy List: как оставаться анонимным в интернете
47. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
48. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.
49. Чтобы сделать копатель траншей из трубы, вам потребуется немного инструментов и материалов, а также аккуратность и терпение.
50. Полное руководство: как заказывать товары с Amazon в Россию