Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Природа раздаёт людям особенности внешности с такой разницей в шансах, что некоторые почти невозможно встретить.
2. За обычные привычки в некоторых странах можно свободой поплатиться.
3. На земле существуют места, которые выглядят как ошибка реальности.
4. Человечество создало резервную копию урожая на случай катастрофы.
5. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
6. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
7. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
8. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
9. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
10. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
11. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
12. Долго планировали с мужем переезд, нашли жилье.
13. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
14. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
15. Дочке десять лет, смотрится даже помладше из-за маленького роста.
16. Муж спросил, когда я сильнее всего пугалась в жизни.
17. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
18. Четыре салата в банках на зиму.
19. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
20. Цветы на томатах есть, а завязи нет: что я делаю в жару.
21. Думаю, моя мама не человек.
22. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
23. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
24. Работаю в банке.
25. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
26. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
27. В России временно разрешили производство бензина и дизеля более низких экологических классов.
28. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
29. С 1 сентября в России планируют обновить перечень медицинских специальностей.
30. Хитрости выращивания кабачков:
31. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
32. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
33. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
34. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
35. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
36. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
37. Березовый деготь в помощь дачникy.
38. Арапайма звучит как имя из глубокой древности, и недаром.
39. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
40. Полезная памятка средств для сада и огорода.
41. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
42. Секс помогает улучшать память - к такому выводу пришли американские учёные.
43. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
44. Острый соус, который можно замораживать.
45. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
46. Учёные Ozempic без побочных эффектов создали.
47. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
48. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
49. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
50. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.