Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Недавно узнала, что у матери туберкулёз открытой формы.
2. Провела всё своё детство в деревне, где абсолютно нечего было делать.
3. Nasa показало вселенную с невероятным уровнем детализации.
4. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
5. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
6. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
7. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
8. Выкопать свёклу - половина дела.
9. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
10. Всю жизнь терпеть не могу своё имя - Валентина.
11. Это не обычное варенье, где яблоки плавают в литре сиропа.
12. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
13. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
14. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
15. Мне 37, молодая и здоровая была, но за год постарела.
16. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
17. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
18. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
19. Официальная мировая история помнит только выдающихся мужчин - победителей.
20. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
21. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
22. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
23. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
24. Уволенных россиян официально призвали готовиться к целому году безработицы.
25. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
26. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
27. Топ - 10 теневыносливых растений для вашего сада.
28. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
29. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
30. Легенды мирового рока украсили фасады домов в елизаветино.
31. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
32. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
33. Ceйчас я делаю блинчики, которые тают во рту!
34. Самый возрастной ветеран великой отечественной войны умер.
35. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
36. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
37. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
38. Пepecтаньте борoться с мoкрицей!
39. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
40. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
41. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
42. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
43. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
44. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
45. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
46. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
47. Казалось бы, простая рамка для фото.
48. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
49. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
50. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.