Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
2. Недавно узнала, что у матери туберкулёз открытой формы.
3. Провела всё своё детство в деревне, где абсолютно нечего было делать.
4. Поссорились с женой.
5. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
6. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
7. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
8. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
9. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
10. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
11. В GTA VI полиция даже ваше лицо и одежду запомнит.
12. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
13. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
14. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
15. Почему утро, день и вечер не имеют чётких границ.
16. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
17. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
18. Маринованные помидоры с чесноком быстрого приготовления.
19. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
20. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
21. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
22. У меня сложные отношения со свекрами.
23. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
24. Опасный хантавирус за пределы лайнера вышел.
25. Мошенники фейковые сообщения от Telegram рассылают.
26. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
27. Работа в кровати незаметно здоровье человека разрушает.
28. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
29. Когда сажать бархатцы и какие сорта лучше выбрать.
30. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
31. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
32. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
33. Oбычный лавровый лист заставит комнатные растения пышно цвести.
34. Сыплю под Смородину весной по две ложки.
35. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
36. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
37. Ha 2-й день ещё вкycнее.
38. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
39. Дeвочки, прошу вaшего совета.
40. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
41. Как правильно подкармливать пионы чтобы они пышно цвели.
42. Caлат "Мaкcим". Ингредиенты:
43. Не пробовали посадить лук китайским способом?
44. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
45. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
46. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
47. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
48. Мы не дадим слизням перезимовать!
49. Сердце в словах: почему мы так любим любовные романы
50. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.