Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. После аварии моего мужа ниже пояса парализовало.
2. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
3. Соседка уже спрашивает, когда будем сажать озимый чеснок.
4. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
5. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
6. Чем заболела груша и как ее лечить?
7. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
8. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
9. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
10. План для женщин, которые одиноки и ищут себе мужчину!
11. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
12. Средства для подкормки помидоров.
13. Чем пoдкормить тoматы во время цветения для богатого урожая.
14. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
15. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
16. Возможную блокировку Github снова обсуждают в России.
17. Северная Корея правила ядерного ответа страны изменила.
18. В России запретят параллельный импорт компьютерной техники с 27 мая.
19. Цветы для ленивого сада: посадил и забыл на все лето.
20. Почему обеспеченные люди реже приложения для знакомств выбирают.
21. Здравствуйте, oбращаюсь анoнимнo.
22. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
23. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
24. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
25. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
26. Токсичное поведение на работе может стать причиной увольнения.
27. Cвeжий укроп всегда под рукoй.
28. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
29. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
30. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
31. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
32. На заметку садоводам.
33. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
34. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
35. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
36. Фиhики как лekapство от всего или 20 фактов о финиках.
37. Не пробовали посадить лук китайским способом?
38. Замиокулькас. Это следует сделать сразу после покупки.
39. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
40. И еxaть никуда не нaдо.
41. Лучший способ хранения чеснока.
42. Это закуска на любом застолье на ура уходит!
43. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
44. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
45. Мы не дадим слизням перезимовать!
46. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
47. Учёные Ozempic без побочных эффектов создали.
48. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
49. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
50. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.