Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
2. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
3. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
4. Вынуждена была уехать на лечение на месяц в другую страну.
5. У моего отца дочь от первого брака была.
6. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
7. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
8. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
9. План для женщин, которые одиноки и ищут себе мужчину!
10. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
11. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
12. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
13. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
14. Традиционные дипломные работы могут полностью исчезнуть из вузов.
15. Мой личный лайфхак относительно учёбы.
16. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
17. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
18. Кейсы в CS2 и паки Fifa предложили запретить в России.
19. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
20. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
21. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
22. Топ - 7 наборов семян, которые должны быть у каждого!
23. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
24. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
25. В Мавритании ходит один из самых впечатляющих поездов на планете.
26. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
27. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
28. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
29. Moлодым хозяйкам на заметку!
30. Секрет пышной и сладкой морковки - простая подкормка!
31. Стильное оформление квартиры.
32. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
33. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
34. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
35. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
36. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
37. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
38. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
39. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
40. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
41. Лучший способ хранения чеснока.
42. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
43. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
44. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
45. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
46. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
47. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
48. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
49. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
50. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году