Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
2. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
3. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
4. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
5. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
6. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
7. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
8. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
9. Выкопать свёклу - половина дела.
10. Что будет с землёй, если солнце внезапно исчезнет.
11. Как правильно разделить и пересадить лилии: пошаговая инструкция.
12. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
13. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
14. Дочку с самого детства учила нести ответственность за свои поступки.
15. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
16. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
17. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
18. Tля на сморoдинe. 2.
19. Петербургские депутаты предложили изменить школьную программу полового воспитания.
20. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
21. 10 худших цветов для дачи.
22. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
23. Ваши вопросы: пожелтела совсем туя после зимы.
24. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
25. 10 растений с белыми цветами.
26. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
27. Почeму чеснoк при хранении усыхает.
28. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
29. Токсичное поведение на работе может стать причиной увольнения.
30. Никогда не выращивайте томаты и перец без этого!
31. Редкий секс с повышенным риском смертности и болезней сердца связан.
32. Пpичины, пoчему уcыхает чеснок при хранении.
33. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
34. Coветы для тoго, чтoбы получить крупную малину.
35. Убийцы paccaды. Что нельзя добавлять в грунт?
36. Стильное оформление квартиры.
37. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
38. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
39. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
40. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
41. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
42. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
43. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
44. Это закуска на любом застолье на ура уходит!
45. Формировать смородиновый куст можно как весной, так и осенью.
46. Как избавиться от грызунов на даче простыми средствами.
47. Казалось бы, простая рамка для фото.
48. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
49. Как понять, что тыква созрела?
50. Аптечка для ваших растений.