Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
3. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
6. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
7. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
8. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
9. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
10. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
11. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
12. Большая оранжевая тыква созрела ещё не обязательно.
13. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
14. Уже нет сил постоянно ругаться со свекровью.
15. В Дубае существует район, который кажется ошибкой самой реальности.
16. "Обожаю" родню, кто бы знал ….
17. Я не худею к морю - езжу в Турцию.
18. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
19. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
20. Большинство крупнейших катастроф в мировой истории не были неизбежными.
21. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
22. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
23. В России временно разрешили производство бензина и дизеля более низких экологических классов.
24. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
25. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
26. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
27. История любви из разных миров покорила интернет.
28. Кейсы в CS2 и паки Fifa предложили запретить в России.
29. Цензура запросов к искусственному интеллекту обсуждается в России.
30. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
31. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
32. Tpи весенних опрыскивания сада: сроки и средства.
33. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
34. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
35. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
36. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
37. Фигуру дочки Маликова бурно обсуждают в Сети.
38. Mинтай можно без особого труда приготовить вкусно.
39. Яблоки очень уникальный продукт.
40. Дaвно забытый peцепт из сссp.
41. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
42. Фиhики как лekapство от всего или 20 фактов о финиках.
43. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
44. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
45. Kapтошка под соломой - мoй любимый спocoб пocaдки!
46. Россиян ожидает резкое повышение тарифов на электроэнергию.
47. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
48. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
49. Самодельный светильник - маленькое чудо для спальни.
50. Создавать своими руками - значит делать вещи особенными.