Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Увидел, как моя беременная жена обнималась с лысым мужиком.
2. Москвичка девять месяцев не подозревала, что носит ребёнка.
3. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
4. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
5. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
6. Удивительные товарищи всё-таки - родственнички.
7. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
8. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
9. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
10. Цветную капусту у нас обычно едят без большого восторга.
11. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
12. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
13. Малина отплодоносила - и рука так и тянется оставить всё до весны.
14. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
15. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
16. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
17. МРТ Плода показывает мозг и глаза сквозь кости черепа.
18. Чем заболела груша и как ее лечить?
19. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
20. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
21. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
22. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
23. Дочку с самого детства учила нести ответственность за свои поступки.
24. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
25. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
26. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
27. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
28. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
29. У меня сложные отношения со свекрами.
30. Что я делаю с чесноком, чтобы он снова стал зелёным.
31. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
32. 10 худших цветов для дачи.
33. Турецкий огуречный салат.
34. Почему вы зря деревья от лишайника белите?
35. Одни из первых протезов использовали ещё в эпоху древнего Рима.
36. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
37. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
38. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
39. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
40. Не у всех укроп растёт как сорняк, в огромных количествах.
41. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
42. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
43. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
44. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
45. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
46. Это лучшее, что я когда-либо ела!
47. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
48. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
49. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
50. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.