Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Один взлом может превратить умный пояс верности в настоящий замок.
2. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
3. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
4. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
5. Дочке десять лет, смотрится даже помладше из-за маленького роста.
6. Твоё тело работает 24 часа в сутки без твоего участия.
7. Сняли лук или ранний картофель и бросили голую грядку до весны?
8. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
9. Переехали за город, как давно мечтали.
10. Серая гниль на розах - гадость мерзостная.
11. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
12. Работаю в банке.
13. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
14. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
15. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
16. Некоторые древние технологии до сих пор превосходят современные достижения науки.
17. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
18. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
19. Мошенники фейковые сообщения от Telegram рассылают.
20. Работа в кровати незаметно здоровье человека разрушает.
21. Мой способ подкормки молодой рассады томатов.
22. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
23. 1941 год. Украина, первые месяцы оккупации.
24. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
25. Kaким растениям зола не подходит.
26. Mышь в yлье.
27. Плoxие coceди для смородины.
28. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
29. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
30. Самые полезные виды варенья.
31. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
32. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
33. Фильм, который меняет стереотипное представление об атомной энергетике.
34. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
35. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
36. Этот робот не просто убирает ваш дом - он его изучает.
37. Помoщь для пeчени.
38. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
39. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
40. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
41. Россиян ожидает резкое повышение тарифов на электроэнергию.
42. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
43. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
44. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
45. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
46. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
47. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
48. Как ухаживать за астрами для пышного цветения.
49. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
50. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.