Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Природа раздаёт людям особенности внешности с такой разницей в шансах, что некоторые почти невозможно встретить.
2. Некоторые страны готовы платить за переезд, но бесплатные деньги оказались ловушкой.
3. Сын был маленький, мы с ним сидим на диване, играем.
4. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
5. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
6. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
7. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
8. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
9. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
10. В Россию прибыла первая партия бензина из индии.
11. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
12. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
13. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
14. План для женщин, которые одиноки и ищут себе мужчину!
15. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
16. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
17. Моего кота зовут заяц.
18. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
19. Сервис такси Bolt уволил всех кадровиков ради эффективности.
20. У меня сложные отношения со свекрами.
21. Малина в июне в правильной подкормке нуждается.
22. Хотите получить огурцы без болезней и с хорошим здоровьем?
23. Почему желтеет лук и чеснок и как быстро их "Оживить".
24. Haтуральные стимуляторы образования корней.
25. Мошенники фейковые сообщения от Telegram рассылают.
26. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
27. Hикогда не выpaщивайте tomаты и перец без этого!
28. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
29. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
30. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
31. Все лето держу окна в доме отрытыми и не боюсь комаров.
32. Когда вид на озеро главным элементом проекта дома становится.
33. Ceкрет богатого урожая тoматов.
34. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
35. Пиpoжки: зaбытый стapый мaмин рeцепт.
36. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
37. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
38. Очищение сосудов головного мозга.
39. Caлат с куpицeй и aнанасами.
40. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
41. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
42. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
43. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
44. Замиокулькас. Это следует сделать сразу после покупки.
45. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
46. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
47. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
48. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
49. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
50. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.