Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
3. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
6. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
7. Еда - это язык, который понимают все без единого слова.
8. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. Большинство крупнейших катастроф в мировой истории не были неизбежными.
11. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
12. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
13. Формировка огурцов. 1. начинаю с нижней части.
14. Чем пoдкормить тoматы во время цветения для богатого урожая.
15. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
16. С 1 сентября в России планируют обновить перечень медицинских специальностей.
17. Хотите получить огурцы без болезней и с хорошим здоровьем?
18. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
19. Цензура запросов к искусственному интеллекту обсуждается в России.
20. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
21. Как подкормить малину весной для крупных и сладких ягод.
22. Полёты к луне снова реальностью спустя десятилетия стали.
23. Легенды мирового рока украсили фасады домов в елизаветино.
24. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
25. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
26. Всем садоводам нужно знать.
27. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
28. Ceкрет богатого урожая тoматов.
29. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
30. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
31. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
32. Самый возрастной ветеран великой отечественной войны умер.
33. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
34. Самый богатый бомж в мире!
35. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
36. Замечательный закусочный торт из нежной куриной грудки!
37. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
38. Эта комната не подстраивается под свет - она управляет им в реальном времени.
39. Этот пирог лучше, чем торт и вкуснее кекса.
40. Чтo делает с оргahизмом всего одна хурма.
41. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
42. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
43. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
44. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
45. Топ - 5 идей для уюта на даче осенью.
46. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
47. Чем мульчировать малину осенью для защиты корней?
48. 3 популярных сорта жимолости.
49. Молодая кровь способна омолаживать тело - это доказали учёные.
50. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.