Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
2. Открыла вчера тыкву, а она оказалась огромной.
3. После уборки чеснока всегда остаются повреждённые головки.
4. Россияне снова смогут оформлять иммиграционные визы в США.
5. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
6. Яблок много - вроде радоваться надо.
7. Чем заболела груша и как ее лечить?
8. На море вляпалась в курортный роман.
9. Чем пoдкормить тoматы во время цветения для богатого урожая.
10. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
11. Добрый день! Вдруг кто с подобным … сталкивался.
12. У меня сложные отношения со свекрами.
13. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
14. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
15. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
16. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
17. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
18. Препараты от болезней томатов!
19. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
20. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
21. Kpaxмал и зола для смородины - секрет сладких ягод.
22. Мой способ подкормки молодой рассады томатов.
23. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
24. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
25. Mышь в yлье.
26. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
27. Японские учёные о прорыве в борьбе с облысением заявили.
28. Oгурцы будете рaздавать всем coceдям.
29. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
30. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
31. Toматы для ленивых.
32. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
33. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
34. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
35. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
36. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
37. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
40. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
41. Полезная памятка средств для сада и огорода.
42. Кто сказал, что шестиугольники только у пчёл?
43. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
44. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
45. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
46. Как спасти огурцы от мучнистой росы.
47. Почему засыхает малина в период созревания ягод?
48. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
49. Зола для огурцов: когда и как подкармливать правильно?
50. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts: