Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. После аварии моего мужа ниже пояса парализовало.
2. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
3. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
4. Большая оранжевая тыква созрела ещё не обязательно.
5. Как правильно разделить и пересадить лилии: пошаговая инструкция.
6. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
7. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
8. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
9. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
10. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
11. Официальная мировая история помнит только выдающихся мужчин - победителей.
12. Хроническая бедность способна значительно ускорять естественное старение организма.
13. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
14. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
15. За долгое время наш мир сталкивался с невероятно странными событиями.
16. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
17. Уволенных россиян официально призвали готовиться к целому году безработицы.
18. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
19. Мошенники фейковые сообщения от Telegram рассылают.
20. Как буддийские монахи вышли на протест и столкнулись с полицией.
21. Кейсы в CS2 и паки Fifa предложили запретить в России.
22. Ваши вопросы: пожелтела совсем туя после зимы.
23. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
24. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
25. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
26. Помoгаем печени утpoм, днем и вечером!
27. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
28. Всем садоводам нужно знать.
29. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
30. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
31. Она растёт в каждом саду и называется ведьмина трава.
32. Магия пандоры. Аватары и актёры, которые воплотили их образы.
33. Самый возрастной ветеран великой отечественной войны умер.
34. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
35. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
36. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
37. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
38. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
39. Подругa нaучила "Прaвильно" тушить капусту.
40. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
41. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
42. Разбираемся как бороться с червяками на малине.
43. В России отложили введение нового утильсбора для автомобилей.
44. Сердце в словах: почему мы так любим любовные романы
45. Как ухаживать за астрами для пышного цветения.
46. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
47. Чем мульчировать малину осенью для защиты корней?
48. 5 лучших подкормок для огорода - проверено на практике.
49. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
50. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.