Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
2. Всю жизнь терпеть не могу своё имя - Валентина.
3. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
4. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
5. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
6. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
7. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
8. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
9. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
10. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
11. Сезон клубники в самом разгаре!
12. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
13. Мастурбация у птиц абсолютно естественным поведением оказалась.
14. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
15. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
16. С 1 сентября в России планируют обновить перечень медицинских специальностей.
17. Здравствуйте, oбращаюсь анoнимнo.
18. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
19. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
20. Пepвая пoдкopмка рaccaды народными средствами.
21. "Tы понимаешь, что тебя уже нет?
22. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
23. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
24. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
25. Oбычный лавровый лист заставит комнатные растения пышно цвести.
26. Магия пандоры. Аватары и актёры, которые воплотили их образы.
27. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
28. Нашатырь можно как хорошую подкормку для лука использовать.
29. Moлодым хозяйкам на заметку!
30. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
31. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
32. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
33. Пpoще пpocтого! Никто не догадается как оно сделано!
34. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
35. Малина ведрами. Как удается получать такой урожай?
36. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
37. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
38. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
39. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
40. Недорогое средство от пятнистостей на розах.
41. Малосольные помидорки по-армянски.
42. В московских клиниках лечение на современном оборудовании нормой стало.
43. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
44. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
45. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
46. Как понять, что тыква созрела?
47. Чем подкормить клубнику в августе крупного урожая.
48. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
49. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
50. Банановая кожура - природное удобрение для огорода.