Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В 11 лет я сломала нос.
2. Малина отплодоносила - и рука так и тянется оставить всё до весны.
3. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
4. Дочке десять лет, смотрится даже помладше из-за маленького роста.
5. Должны были с женой и родителями лететь на свадьбу сестры.
6. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
7. Вынуждена была уехать на лечение на месяц в другую страну.
8. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
9. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
10. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
11. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
12. Июнь - решающий месяц в борьбе с монилиозом в саду.
13. Уволенных россиян официально призвали готовиться к целому году безработицы.
14. Российские медики о резком росте опасных кишечных инфекций предупредили.
15. У меня сложные отношения со свекрами.
16. Обычный поход в туалет потерей памяти закончился.
17. Обычные прогулки мощной поддержкой для организма оказались.
18. Почему желтеет лук и чеснок и как быстро их "Оживить".
19. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
20. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
21. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
22. После того как рухнула советская власть, что сделали?
23. Пятый рабочий день полностью неэффективным оказался.
24. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
25. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
26. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
27. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
28. 1941 год. Украина, первые месяцы оккупации.
29. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
30. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
31. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
32. Пpoбовали caжать лук китaйским спocoбом?
33. Она растёт в каждом саду и называется ведьмина трава.
34. Секрет пышной и сладкой морковки - простая подкормка!
35. Их форма, цвет и даже расположение никогда не бывают случайными.
36. Сырники больше не делаю.
37. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
38. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
39. Caлат с куpицeй и aнанасами.
40. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
41. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
42. Учёные в вейпах следы фекалий обнаружили.
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Секрет крупного озимого чеснока - простая подкормка при посадке!
45. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
46. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
47. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
48. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
49. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
50. И другой более масштабный вариант есть.