Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Думаю, моя мама не человек.
2. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
3. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
4. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
5. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
6. Дочку с самого детства учила нести ответственность за свои поступки.
7. Мощная подкормка для овощей: секрет огромного количества завязей.
8. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
9. Лиcтья свернулись и побелели после высадки в теплицу.
10. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
11. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
12. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
13. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
14. Банановая кожура в БОРЬБЕ с муравьями.
15. Я мopковь сею следующим образом.
16. Три народных средства для крепкой рассады томатов.
17. В Госдуме предложили необычный способ провести время без интернета.
18. Исследование рост половой дисфункции среди молодого поколения показало.
19. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
20. Трещины на тротуарах превращаются в целые миры художника.
21. Топ - 7 наборов семян, которые должны быть у каждого!
22. Пирожки: забытый старый мамин рецепт.
23. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
24. Вот так выглядит архитектура, когда пространства почти не осталось.
25. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
26. Маринованные помидоры с морковной ботвой.
27. Кoгда усы клубники нужно обрезать?
28. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
29. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
30. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
31. С легкой и пушистой текстурой, это самый мягкий торт.
32. Ни один шашлычек у нас не обходят без этой закуски!
33. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
34. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
35. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
36. Формировать смородиновый куст можно как весной, так и осенью.
37. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
38. В России отложили введение нового утильсбора для автомобилей.
39. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
40. Пурпурная малина - настоящая Находка для вашего сада!
41. С утра иногда так хочется выпить ароматного бодрящего кофе.
42. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
43. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
44. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
45. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
46. Лучшие инструменты для веб-скраппинга: как эффективно извлекать данные
47. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году
48. Топ-11 прокси для Instagram в 2025: выбор профессионалов
49. Топ-15 прокси-сервисов 2025 года: Надёжные и быстрые
50. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.