Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Без иронии, вначале попробуйте, это очень вкусный напиток.
2. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
3. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
4. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
5. Моя мама очень долго болью в коленях мучилась.
6. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
7. Как буддийские монахи вышли на протест и столкнулись с полицией.
8. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
9. Hикогда не выpaщивайте tomаты и перец без этого!
10. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
11. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
12. Рецепт меренгового рулета.
13. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
14. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
15. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
16. Пирожки: забытый старый мамин рецепт.
17. Натали вспомнила мужа: "третья новогодняя ночь без него.
18. Затяжная магнитная буря уже началась и продлится до конца декабря.
19. Эта комната не подстраивается под свет - она управляет им в реальном времени.
20. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
21. Пpoще пpocтого! Никто не догадается как оно сделано!
22. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
23. Моя соседка никак не могла продать дорогущий антикварный комод.
24. С легкой и пушистой текстурой, это самый мягкий торт.
25. Это закуска на любом застолье на ура уходит!
26. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
27. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
28. В России отложили введение нового утильсбора для автомобилей.
29. Клубника на подоконнике - аромат лета круглый год!
30. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
31. Маленькая шпаргалка по томатам.
32. Пергола - это не просто арка или навес.
33. Что делать, если листья огурцов стали "Мраморные"?
34. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
35. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
36. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
37. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
38. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
39. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
40. Какие исторические места Москвы связаны с наполеоновским вторжением
41. ТОП-18 лучших прокси для Telegram 2025
42. Топ-8 Прокси для Instagram в 2025: Ускорите Свой Аккаунт
43. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
44. Стоит ли использовать золу, чтобы yкроп вcxодил быcтрee?
45. Интересные факты о Владивостоке, которые вы, возможно, не знали
46. Какие мероприятия проводятся в парках Санкт-Петербурга летом
47. Расскажите о истории Красной площади и её значении для России
48. Крем с йодом все морщинки уберет!
49. Дачный уличный туалет - неотъемлемая часть комфорта и удобства, особенно для тех, кто проводит много времени на даче или загородном участке.
50. Как CAGMO завоевал сцену: Путь к славе