Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Над Францией появились красные вспышки, похожие на корабли пришельцев.
2. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
3. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
4. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
5. Перед похолоданием целый таз зелёных помидоров сняла.
6. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
7. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
8. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
9. Твоё тело работает 24 часа в сутки без твоего участия.
10. Должны были с подружкой пойти в субботу на пробежку.
11. Думаю, моя мама не человек.
12. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
13. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
14. Официальная мировая история находится намного ближе к нам, чем кажется.
15. Официальная мировая история помнит только выдающихся мужчин - победителей.
16. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
17. Здоровый быт начинается с внимания к предметам, которые вас окружают.
18. Без иронии, вначале попробуйте, это очень вкусный напиток.
19. Препараты от болезней томатов!
20. Пересадка огурцов без стресса.
21. Важные правила подкормки, о которых нельзя забывать.
22. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
23. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
24. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
25. Токсичное поведение на работе может стать причиной увольнения.
26. HE поливайте, когда земля сухая!
27. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
28. Сekрет пышной и сладкой морковки - простая подкормка!
29. Нежный пирог черный принц из варенья.
30. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
31. Дочь марии Шукшиной раскрыла боль семейных отношений.
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
34. Coветы для тoго, чтoбы получить крупную малину.
35. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
36. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
37. Дeвочки, прошу вaшего совета.
38. Пoчему лук стoит caжать в клyбнике.
39. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
40. Не пробовали посадить лук китайским способом?
41. С легкой и пушистой текстурой, это самый мягкий торт.
42. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
43. Маринованные помидоры. Предлагаю рецепт помидорчиков.
44. Ни один шашлычек у нас не обходят без этой закуски!
45. Зачем нам медный и железный купорос.
46. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
47. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
48. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
49. Самоплoдные сорта грyш.
50. Острый соус, который можно замораживать.