Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. Некоторые тайны земли до сих пор не получили окончательного объяснения.
3. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
4. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
5. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
6. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
7. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
8. Россияне снова смогут оформлять иммиграционные визы в США.
9. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
10. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
11. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
12. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
13. Думаю, моя мама не человек.
14. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
15. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
16. Маринованные огурцы с красной смородиной без уксуса.
17. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
18. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
19. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
20. Мастурбация у птиц абсолютно естественным поведением оказалась.
21. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
22. Муж часто домашние дела на потом задвигает.
23. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
24. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
25. В России запретят параллельный импорт компьютерной техники с 27 мая.
26. Туапсе экологическая катастрофа хуже анапской грозит.
27. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
28. Hикогда не выpaщивайте tomаты и перец без этого!
29. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
30. Уже проснулись: как не встретить гадюку на любимых грядках.
31. 1941 год. Украина, первые месяцы оккупации.
32. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
33. Трещины на тротуарах превращаются в целые миры художника.
34. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
35. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
36. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
37. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
38. Сырники больше не делаю.
39. Caлат "Пиковая Дама".
40. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
41. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
42. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
43. В 2026 году в России ожидается волна сокращений персонала.
44. Разбираемся как бороться с червяками на малине.
45. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
46. Какие лилии могут зимовать в грунте!
47. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
48. Чем мульчировать малину осенью для защиты корней?
49. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
50. 5 секретов обильного урожая огурцов.