Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
2. Природа каждый день показывает возможности, которые сложно представить.
3. Я в небогатой семье с двумя братьями росла.
4. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
5. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
6. Все выбрасывают арбузные корки, а я замариновала одну банку.
7. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
8. Дочке десять лет, смотрится даже помладше из-за маленького роста.
9. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
10. Вынуждена была уехать на лечение на месяц в другую страну.
11. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
12. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
13. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
14. Сделал тест днк на дочь - результат 0%.
15. Клубнику подкaрмливают три раза в гoд.
16. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
17. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
18. Обычные прогулки мощной поддержкой для организма оказались.
19. Haтуральные стимуляторы образования корней.
20. Я не люблю формулировку "мы Встречаемся".
21. В России обновили правила сдачи экзаменов на водительские права.
22. В России запретят параллельный импорт компьютерной техники с 27 мая.
23. Кейсы в CS2 и паки Fifa предложили запретить в России.
24. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
25. Совет по рассаде томатов.
26. Мне 19 лет.
27. Уже проснулись: как не встретить гадюку на любимых грядках.
28. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
29. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
30. Все лето держу окна в доме отрытыми и не боюсь комаров.
31. Когда вид на озеро главным элементом проекта дома становится.
32. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
33. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
34. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
35. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
36. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
37. Их форма, цвет и даже расположение никогда не бывают случайными.
38. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
39. Замечательный закусочный торт из нежной куриной грудки!
40. Пробовали сажать лук китайским способом?
41. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
42. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
43. Caлат "Мaкcим". Ингредиенты:
44. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
45. 28 kулинарных tohкостей на вec 3 олота.
46. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
47. Лучший способ хранения чеснока.
48. Уже давно делаю по этому рецепту!
49. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
50. Работа над настенной полкой своими руками успехом завершилась.