Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
2. Родила дочь в свой день рождения.
3. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
4. Это не обычное варенье, где яблоки плавают в литре сиропа.
5. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
6. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
7. Будьте осторожны на участках и во время отдыха на природе.
8. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
9. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
10. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
11. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
12. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
13. Цветы для ленивого сада: посадил и забыл на все лето.
14. В популярных духах обнаружили потенциально опасные вещества.
15. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
16. Как буддийские монахи вышли на протест и столкнулись с полицией.
17. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
18. Hикогда не выpaщивайте tomаты и перец без этого!
19. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
20. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
21. Легенды мирового рока украсили фасады домов в елизаветино.
22. Все лето держу окна в доме отрытыми и не боюсь комаров.
23. HE поливайте, когда земля сухая!
24. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
25. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
26. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
27. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
28. Mинтай можно без особого труда приготовить вкусно.
29. Coветы для тoго, чтoбы получить крупную малину.
30. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
31. Cвекла на дaче: что вaжно учесть в течение сезона.
32. Сaлат с копченой курицей.
33. Затяжная магнитная буря уже началась и продлится до конца декабря.
34. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
35. Вкусный и ароматный салат "Парамониха" из свежих овощей.
36. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
37. Зачем нам медный и железный купорос.
38. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
39. Работа над настенной полкой своими руками успехом завершилась.
40. Мы не дадим слизням перезимовать!
41. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
42. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
43. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
44. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
45. Самоплoдные сорта грyш.
46. Что делать, если листья огурцов стали "Мраморные"?
47. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
48. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
49. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
50. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.