Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
2. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
3. В Мавритании ходит один из самых впечатляющих поездов на планете.
4. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
5. Топ - 5 самых неприхотливых сортов перца.
6. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
7. Не у всех укроп растёт как сорняк, в огромных количествах.
8. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
9. Дeвочки, прошу вaшего совета.
10. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
11. Фильм, который меняет стереотипное представление об атомной энергетике.
12. Насыпной пирог с творожной начинкой.
13. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
14. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
15. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
16. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
17. Защита от муравьев.
18. Самый легкий способ укоренения розы из букета!
19. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
20. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
21. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
22. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
23. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще
24. Топ-10 лучших бесплатных мгновенных данных
25. Брюква - это вкусный и полезный корнеплод, который обладает множеством достоинств.
26. Эффективные Instagram Scrapers 2025: Топ-16 Инструментов
27. Почему гниет клубника на грядках и как этого избежать.
28. Топ-11 прокси для Instagram в 2025: выбор профессионалов
29. Топ-7 Прокси для Instagram в 2025: Максимальная Безопасность и Скорость
30. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
31. Пирамиды в момент постройки как сияющие инопланетные монолиты выглядели.
32. Среди ледяных просторов севера, где почти нет деревьев и зима длится большую часть года, живёт арктический волк.
33. Полное руководство: как начать продавать на Amazon и других платформах
34. Как быстро вырастить базилик?
35. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
36. 10
37. Виды средств от клещей.
38. Почему стоит выбрать качественный геотекстиль.
39. Список лучших бесплатных proxy серверов: безопасность и анонимность
40. Что такое проксирование и кэширование: основы и применение
41. Какие улицы Москвы самые знаменитые и почему
42. Маринованный лучок для шашлыка, салатов и просто с хлебушком покушать.
43. Headlines:
44. Пад капао (обжаренный свиной фарш с базиликом и с яйцом.
45. Идеальная женщина: как определить свой тип фигуры и одеваться соответственно
46. Есть ли в городе какие-то уникальные скульптуры или арт-объекты
47. Как быстро найти прибыльные товары для Amazon FBA: полное руководство
48. Топ-6 частных прокси-сервисов 2025 года: рейтинг лучших
49. Лучшие прокси-сервисы 2025: как выбрать идеальный для себя
50. 3 Алил печень кипятком и добавил горчицу!