Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
2. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
3. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
4. Моего кота зовут заяц.
5. Как-то довелось быть свидетелем диалога двух дачниц.
6. Российские медики о резком росте опасных кишечных инфекций предупредили.
7. Роза осирия - магия двух оттенков.
8. Возможную блокировку Github снова обсуждают в России.
9. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
10. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
11. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
12. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
13. Нетипичные плодовые культуры для северного сада.
14. Обычный лавровый лист заставит комнатные растения пышно цвести.
15. Рецепт меренгового рулета.
16. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
17. Самые полезные виды варенья.
18. Oбычный лавровый лист заставит комнатные растения пышно цвести.
19. Пpичины, пoчему уcыхает чеснок при хранении.
20. Сыплю под Смородину весной по две ложки.
21. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
22. Секрет пышной и сладкой морковки - простая подкормка!
23. Натали вспомнила мужа: "третья новогодняя ночь без него.
24. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
25. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
26. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
27. Kapтошка под соломой - мoй любимый спocoб пocaдки!
28. Зачем нам медный и железный купорос.
29. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
30. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
31. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
32. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
33. Создавать своими руками - значит делать вещи особенными.
34. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
35. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
36. Создать овальные подносы можно легко, используя только свои руки.
37. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
38. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
39. Зола для огурцов: когда и как подкармливать правильно?
40. Знаете, зачем завязывают ботву чеснока в узел?
41. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
42. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
43. ТОП-18 лучших прокси для Telegram 2025
44. Топ-12 прокси для Minecraft 2025: играйте без лагов и наслаждайтесь гладкой игрой
45. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
46. Женский реслинг - это не просто шоу, а серьёзная работа, требующая силы, выносливости и сцены.
47. Как заказать товары с Amazon в Россию: полное руководство
48. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
49. В Калифорнии местный житель снял на видео пугающую сцену, напоминающую кадры из фильмов об апокалипсисе.
50. ТОП-15 популярных прокси-серверов 2025: рейтинг лучших решений для анонимности и безопасности