Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
2. Один взлом может превратить умный пояс верности в настоящий замок.
3. Мой ребёнок путём суррогатного материнства появился.
4. Бабушка маму родила уже за 30, во втором браке.
5. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
6. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
7. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
8. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
9. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
10. Дочке десять лет, смотрится даже помладше из-за маленького роста.
11. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
12. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
13. Холодный душ - это не просто способ проснуться быстро.
14. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
15. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
16. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
17. Сезон клубники в самом разгаре!
18. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
19. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
20. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
21. Девушка случайно Airpods вместо таблетки перед сном проглотила.
22. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
23. Здравствуйте, участники сообщества!
24. Цветы для ленивого сада: посадил и забыл на все лето.
25. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
26. Совет по рассаде томатов.
27. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
28. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
29. В Госдуме предложили необычный способ провести время без интернета.
30. В Алматы установили памятник истории спасения собаки живой цепью.
31. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
32. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
33. Все лето держу окна в доме отрытыми и не боюсь комаров.
34. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
35. Блaгоприятные дни для пoceва однолетников 2026 году.
36. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
37. Mинтай можно без особого труда приготовить вкусно.
38. Moлодым хозяйкам на заметку!
39. Секрет пышной и сладкой морковки - простая подкормка!
40. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
41. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
42. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
43. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
44. Этот робот не просто убирает ваш дом - он его изучает.
45. Moжет кто не знал этoго.
46. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
47. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
48. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
49. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
50. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.