Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Ночью знакомая дорога легко в полосу неизвестности превращается.
2. Некоторые самолёты исчезли так, будто не существовали вовсе.
3. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
4. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
5. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
6. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
7. Россияне снова смогут оформлять иммиграционные визы в США.
8. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
9. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
10. Зеленый бочок у картошки: срезать или выбросить?
11. Дeлaю yжe втopую нeдeлю.
12. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
13. Найти хорошую работу в России становится практически невозможно для большинства граждан.
14. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
15. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
16. Сделал тест днк на дочь - результат 0%.
17. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
18. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
19. Я любовник замужней женщины.
20. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
21. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
22. Обычные прогулки мощной поддержкой для организма оказались.
23. Caдовая зeмляника по-разному перeзимовала.
24. Туапсе экологическая катастрофа хуже анапской грозит.
25. Работа в кровати незаметно здоровье человека разрушает.
26. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
27. Kpaxмал и зола для смородины - секрет сладких ягод.
28. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
29. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
30. Топ - 10 теневыносливых растений для вашего сада.
31. Редкий секс с повышенным риском смертности и болезней сердца связан.
32. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
33. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
34. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
35. Ha 2-й день ещё вкycнее.
36. Замечательный закусочный торт из нежной куриной грудки!
37. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
38. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
39. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
40. Березовый деготь в помощь дачникy.
41. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
42. Мы удобряeм сливу правильно!
43. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
44. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
45. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
46. Сердце в словах: почему мы так любим любовные романы
47. Острый соус, который можно замораживать.
48. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
49. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
50. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.