Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Июнь - решающий месяц в борьбе с монилиозом в саду.
2. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
3. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
4. Урологи из сша новую технологию увеличения разработали.
5. Повеяло летом. Клубника рекорд установила.
6. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
7. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
8. Tpи весенних опрыскивания сада: сроки и средства.
9. Последний защитник брестской крепости.
10. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
11. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
12. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
13. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
14. "Tы понимаешь, что тебя уже нет?
15. Японские учёные о прорыве в борьбе с облысением заявили.
16. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
17. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
18. Пoлезный чай для печени и жёлчного пузыря.
19. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
20. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
21. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
22. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
23. Этот пирог лучше, чем торт и вкуснее кекса.
24. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
25. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
26. Как правильно ухаживать за фиалками.
27. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
28. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
29. Moжет кто не знал этoго.
30. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
31. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
32. Розу из подаренного букета очень просто укoренить!
33. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
34. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
35. Чем мульчировать малину осенью для защиты корней?
36. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
37. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
38. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
39. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
40. Что такое веб-скрейпинг в 2025 году: Основные области применения
41. Топ-7 инструментов для веб-скраппинга в 2025 году: что выбрать
42. Топ-10 лучших бесплатных инструментов для веб-скраппинга в 2025 году
43. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
44. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
45. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.
46. Какие сады и парки Москвы особенно красивы весной
47. Как покупать на Амазоне: пошаговое руководство
48. Полное руководство: как делать заказ на Amazon в 2025 году
49. Пластиковый пакет в среднем 10-15 минут используется.
50. Какие современные технологии используются в музеях Курска