Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
3. Эти невероятные вещи заставляют усомниться в реальности.
4. Бабушка маму родила уже за 30, во втором браке.
5. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
6. Выкопать свёклу - половина дела.
7. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
8. Должны были с подружкой пойти в субботу на пробежку.
9. Самые абсурдные законы мира, в которые сложно поверить.
10. Четыре салата в банках на зиму.
11. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
12. Думаю, моя мама не человек.
13. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
14. Современный гейминг оказался исключительно полезен для человеческой психики.
15. Экзамен по философии сдавала.
16. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
17. В Японии открылся уникальный музей для всех ценителей женских ног.
18. Как-то довелось быть свидетелем диалога двух дачниц.
19. Петербургские депутаты предложили изменить школьную программу полового воспитания.
20. 10 худших цветов для дачи.
21. Архивные фото Ирины шейк из юности.
22. В России запретят параллельный импорт компьютерной техники с 27 мая.
23. Как буддийские монахи вышли на протест и столкнулись с полицией.
24. Совет по рассаде томатов.
25. Как подкормить малину весной для крупных и сладких ягод.
26. Мне 19 лет.
27. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
28. Домашний интернет в России начали ограничивать для активных пользователей.
29. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
30. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
31. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
32. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
33. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
34. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
35. Не у всех укроп растёт как сорняк, в огромных количествах.
36. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
37. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
38. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
39. Березовый деготь в помощь дачникy.
40. Мы удобряeм сливу правильно!
41. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
42. Этот робот не просто убирает ваш дом - он его изучает.
43. Врачи о бесполезности популярных бадов с коллагеном заявили.
44. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
45. Лучший способ хранения чеснока.
46. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
47. С утра иногда так хочется выпить ароматного бодрящего кофе.
48. Что делать, если листья огурцов стали "Мраморные"?
49. Кто сказал, что шестиугольники только у пчёл?
50. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.