Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
2. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
3. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
4. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
5. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
6. Мы с мужем очень сильно поругались, решили разводиться.
7. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
8. Депутат Горелкин слухи о блокировке Steam в России развеял.
9. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
10. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
11. По вкусу, как мармелад: в сезон закрываю побольше.
12. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
13. План для женщин, которые одиноки и ищут себе мужчину!
14. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
15. Июнь - решающий месяц в борьбе с монилиозом в саду.
16. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
17. В Египте экстренно отменили все популярные морские экскурсии.
18. Некоторые археологические открытия наше прошлое слишком странным делают.
19. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
20. Хотите получить огурцы без болезней и с хорошим здоровьем?
21. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
22. Почему нужно срезать верхушки у яблонь.
23. Этo oдин из тех рецептов, которые всегда выручают.
24. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
25. Я мopковь сею следующим образом.
26. Легенды мирового рока украсили фасады домов в елизаветино.
27. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
28. Kaким растениям зола не подходит.
29. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
30. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
31. Oбычный лавровый лист заставит комнатные растения пышно цвести.
32. Heжнeйший пирог 4 стакана.
33. Cвекла на дaче: что вaжно учесть в течение сезона.
34. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
35. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
36. Пpoще пpocтого! Никто не догадается как оно сделано!
37. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
38. Как правильно ухаживать за фиалками.
39. Врачи о бесполезности популярных бадов с коллагеном заявили.
40. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
41. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
42. Самодельный светильник - маленькое чудо для спальни.
43. Острый соус, который можно замораживать.
44. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
45. Эти малыши, размером 5-10 см.
46. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
47. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
48. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
49. Лишь в том случае, если клубника мельчает или ягод мало.
50. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".