Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Крупный сбой Beget затронул работу сайтов рунета.
2. "Женщин Нужно Загнать в Беременность" - россиянкам старше 38 лет хотят отменить бесплатное ЭКО.
3. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
4. Бабушка маму родила уже за 30, во втором браке.
5. Некоторые самолёты исчезли так, будто не существовали вовсе.
6. Цветную капусту у нас обычно едят без большого восторга.
7. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
8. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
9. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
10. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
11. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
12. После уборки чеснока всегда остаются повреждённые головки.
13. Американец с самым крошечным пенисом в мире на увеличение пошёл.
14. Муж спросил, когда я сильнее всего пугалась в жизни.
15. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
16. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
17. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
18. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
19. Муж в последнее время крепко подсел на всякие мужские паблики.
20. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
21. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
22. Популярные суши и роллы официально признали настоящим суперфудом.
23. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
24. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
25. Как-то довелось быть свидетелем диалога двух дачниц.
26. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
27. Сервис такси Bolt уволил всех кадровиков ради эффективности.
28. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
29. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
30. Почему обеспеченные люди реже приложения для знакомств выбирают.
31. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
32. Советы дачникам. * Борная кислота:
33. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
34. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
35. Hикогда не ставьте забор обратной стороной к соседу!
36. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
37. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
38. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
39. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
40. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
41. Coветы для тoго, чтoбы получить крупную малину.
42. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
43. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
44. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
45. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
46. Это лучшее, что я когда-либо ела!
47. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
48. Морозостойкие сорта гибридной хурмы.
49. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.