Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
2. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
3. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
4. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
5. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
6. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
7. МРТ Плода показывает мозг и глаза сквозь кости черепа.
8. Муж постоянно по утрам будит.
9. С 1 марта банки будут блокировать переводы при обнаружении вируса.
10. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
11. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
12. Сезон клубники в самом разгаре!
13. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
14. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
15. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
16. Почему желтеет лук и чеснок и как быстро их "Оживить".
17. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
18. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
19. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
20. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
21. Священник стал маской, чтобы спасти детский приют и жизнь детей.
22. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
23. Советы дачникам. * Борная кислота:
24. Kaким рacтениям зoла не подходит.
25. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
26. Редкий секс с повышенным риском смертности и болезней сердца связан.
27. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
28. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
29. Пeченочные котлеты с необычным ингредиентом.
30. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
31. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
32. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
33. Сырники больше не делаю.
34. Натали вспомнила мужа: "третья новогодняя ночь без него.
35. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
36. Пробовали сажать лук китайским способом?
37. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
38. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
39. И еxaть никуда не нaдо.
40. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
41. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
42. Как ухаживать за астрами для пышного цветения.
43. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
44. Создавать уют своими руками - значит делать интерьер уникальным.
45. Красивые садовые дорожки своими руками.
46. Эти малыши, размером 5-10 см.
47. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
48. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
49. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
50. От победы над онкологией - к одной из самых впечатляющих сделок за всю историю шоу Shark Tank.