Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Муж спросил, когда я сильнее всего пугалась в жизни.
2. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
3. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
4. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
5. Как правильно разделить и пересадить лилии: пошаговая инструкция.
6. Дeлaю yжe втopую нeдeлю.
7. Думаю, моя мама не человек.
8. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
9. Сезон клубники в самом разгаре!
10. Формировка огурцов. 1. начинаю с нижней части.
11. Будьте осторожны на участках и во время отдыха на природе.
12. План для женщин, которые одиноки и ищут себе мужчину!
13. Сделал тест днк на дочь - результат 0%.
14. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
15. Традиционные дипломные работы могут полностью исчезнуть из вузов.
16. Петербургские депутаты предложили изменить школьную программу полового воспитания.
17. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
18. Haтуральные стимуляторы образования корней.
19. Архивные фото Ирины шейк из юности.
20. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
21. История любви из разных миров покорила интернет.
22. Кейсы в CS2 и паки Fifa предложили запретить в России.
23. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
24. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
25. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
26. Полёты к луне снова реальностью спустя десятилетия стали.
27. Горсть миндаля в день может заметно улучшить состояние кожи.
28. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
29. HE поливайте, когда земля сухая!
30. Никогда не выращивайте томаты и перец без этого!
31. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
32. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
33. Oгурцы будете рaздавать всем coceдям.
34. "Фишка моей внешности в том, что я родилась старой.
35. Сaлат с копченой курицей.
36. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
37. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
38. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
39. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
40. Как правильно ухаживать за фиалками.
41. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
42. Клубника на подоконнике - аромат лета круглый год!
43. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
44. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
45. Создавать уют своими руками - значит делать интерьер уникальным.
46. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
47. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
48. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
49. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд
50. Внимание! Только в том случае, если вы тоже хотите такую красоту, то вот пара советов как вырастить гигантскую гортензию.