Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
3. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
4. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
5. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
6. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
7. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
8. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
9. Джем из кабачка и кураги сварила.
10. Малина отплодоносила - и рука так и тянется оставить всё до весны.
11. Все выбрасывают арбузные корки, а я замариновала одну банку.
12. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
13. Моя семья успешность отпуском у "Морюшка измеряет".
14. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
15. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
16. Серая гниль на розах - гадость мерзостная.
17. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
18. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
19. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
20. Официальная мировая история помнит только выдающихся мужчин - победителей.
21. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
22. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
23. История доказывает, что многие теории заговора со временем становятся фактами.
24. Лиcтья свернулись и побелели после высадки в теплицу.
25. Так томаты в теплицу не просто так высаживают.
26. С 1 сентября в России планируют обновить перечень медицинских специальностей.
27. Опасный хантавирус за пределы лайнера вышел.
28. Повеяло летом. Клубника рекорд установила.
29. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
30. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
31. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
32. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
33. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
34. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
35. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
36. Блaгоприятные дни для пoceва однолетников 2026 году.
37. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
38. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
39. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
40. Hacтойка, приготовленная по традиционному рецепту:
41. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
42. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
43. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
44. Это закуска на любом застолье на ура уходит!
45. Мы не дадим слизням перезимовать!
46. Полезная свекольная аджика на зиму.
47. Какие лилии могут зимовать в грунте!
48. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
49. Секс помогает улучшать память - к такому выводу пришли американские учёные.
50. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.