Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Лоис гибсон превратила карандаш в инструмент поимки преступников.
2. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
3. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
4. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
5. Джем из кабачка и кураги сварила.
6. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
7. Это не обычное варенье, где яблоки плавают в литре сиропа.
8. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
9. Собрали последнюю малину и забыли про кусты?
10. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
11. Мощная подкормка для овощей: секрет огромного количества завязей.
12. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
13. Экзамен по философии сдавала.
14. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
15. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
16. Здоровый быт начинается с внимания к предметам, которые вас окружают.
17. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
18. Привычные повседневные продукты от потребителей свою темную историю скрывают.
19. Традиционные дипломные работы могут полностью исчезнуть из вузов.
20. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
21. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
22. Обычные прогулки мощной поддержкой для организма оказались.
23. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
24. Совет по рассаде томатов.
25. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
26. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
27. Все лето держу окна в доме отрытыми и не боюсь комаров.
28. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
29. Обычный лавровый лист заставит комнатные растения пышно цвести.
30. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
31. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
32. Самые полезные виды варенья.
33. Фигуру дочки Маликова бурно обсуждают в Сети.
34. Mинтай можно без особого труда приготовить вкусно.
35. Heжнeйший пирог 4 стакана.
36. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
37. Вот так выглядит архитектура, когда пространства почти не осталось.
38. Caлат "Пиковая Дама".
39. Caлат с куpицeй и aнанасами.
40. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
41. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
42. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
43. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
44. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
45. Чем обработать теплицу осенью от болезней и вредителей?
46. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
47. Учёные Ozempic без побочных эффектов создали.
48. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
49. Эти малыши, размером 5-10 см.
50. Вкусный рецепт бургера с курочкой.