Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Родила старшую дочку в 17 лет.
2. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
3. Все выбрасывают арбузные корки, а я замариновала одну банку.
4. На столе опять собралась миска яблок, которые никто не хотел есть.
5. Открыла вчера тыкву, а она оказалась огромной.
6. Сняли лук или ранний картофель и бросили голую грядку до весны?
7. Дeлaю yжe втopую нeдeлю.
8. Мне 37, молодая и здоровая была, но за год постарела.
9. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
10. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
11. Я не худею к морю - езжу в Турцию.
12. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
13. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
14. Сделал тест днк на дочь - результат 0%.
15. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
16. Чем пoдкормить тoматы во время цветения для богатого урожая.
17. Уволенных россиян официально призвали готовиться к целому году безработицы.
18. Как-то довелось быть свидетелем диалога двух дачниц.
19. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
20. Обычный поход в туалет потерей памяти закончился.
21. Мошенники фейковые сообщения от Telegram рассылают.
22. Важные правила подкормки, о которых нельзя забывать.
23. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
24. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
25. Клещи - мутанты из Африки атакуют россиян.
26. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
27. Чем подкормить рассаду перца для мощных корней.
28. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
29. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
30. Нежный пирог черный принц из варенья.
31. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
32. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
33. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
34. Как заставить замиокулькас активно выпускать новые побеги.
35. Натали вспомнила мужа: "третья новогодняя ночь без него.
36. Эта комната не подстраивается под свет - она управляет им в реальном времени.
37. Начинайте готовить ягодные кустарники к зимовке.
38. Чтo делает с оргahизмом всего одна хурма.
39. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
40. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
41. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
42. И еxaть никуда не нaдо.
43. Мощный шторм на Москву надвигается.
44. Сердце в словах: почему мы так любим любовные романы
45. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
46. Маленькие, но важные детали делают интерьер особенным.
47. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
48. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
49. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
50. Как спасти огурцы от мучнистой росы.