Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. К 2050 году привычная жизнь может превратиться в научную фантастику.
2. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
3. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
4. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
5. Еда - это язык, который понимают все без единого слова.
6. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
7. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
8. Насколько огромны самые большие объекты в природе и космосе.
9. Четыре салата в банках на зиму.
10. В Дубае существует район, который кажется ошибкой самой реальности.
11. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
12. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
13. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
14. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
15. Чем пoдкормить тoматы во время цветения для богатого урожая.
16. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
17. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
18. В России обновили правила сдачи экзаменов на водительские права.
19. Сон при свете повышает риск ожирения.
20. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
21. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
22. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
23. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
24. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
25. У китайцев принято чавкать.
26. Полёты к луне снова реальностью спустя десятилетия стали.
27. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
28. Всем садоводам нужно знать.
29. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
30. Этой весной Россию накроет массовое нашествие комаров и клещей.
31. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
32. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
33. Она растёт в каждом саду и называется ведьмина трава.
34. Магия пандоры. Аватары и актёры, которые воплотили их образы.
35. Пиpoжки: зaбытый стapый мaмин рeцепт.
36. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
37. Маринованные помидоры с морковной ботвой.
38. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
39. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
40. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
41. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
42. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
43. Розу из пoдаренного букета очень просто укopeнить!
44. Это закуска на любом застолье на ура уходит!
45. Формировать смородиновый куст можно как весной, так и осенью.
46. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
47. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
48. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
49. Подготовка почвы к новому сезону: без перекопки, но с пользой.
50. Мы готовим малинник к следующему сезону правильно!