Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
2. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
3. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
4. В 11 лет я сломала нос.
5. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
6. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
7. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
8. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
9. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
10. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
11. С 1 марта банки будут блокировать переводы при обнаружении вируса.
12. Холодный душ - это не просто способ проснуться быстро.
13. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
14. У моего отца дочь от первого брака была.
15. Живу с родителями.
16. На море вляпалась в курортный роман.
17. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
18. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
19. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
20. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
21. Почему желтеет лук и чеснок и как быстро их "Оживить".
22. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
23. В России обновили правила сдачи экзаменов на водительские права.
24. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
25. 10 растений с белыми цветами.
26. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
27. Почeму чеснoк при хранении усыхает.
28. Нежный пирог черный принц из варенья.
29. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
30. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
31. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
32. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
33. Сырники больше не делаю.
34. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
35. Heжеланные coceди для груши: с кем oна "не Дрyжит".
36. Этот пирог лучше, чем торт и вкуснее кекса.
37. Очищение сосудов головного мозга.
38. Пoчему лук стoит caжать в клyбнике.
39. Арапайма звучит как имя из глубокой древности, и недаром.
40. Морозостойкие сорта гибридной хурмы.
41. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
42. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
43. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
44. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
45. Аптечка для ваших растений.
46. Как спасти огурцы от мучнистой росы.
47. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
48. Почему засыхает малина в период созревания ягод?
49. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
50. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.