Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Недавно узнала, что у матери туберкулёз открытой формы.
2. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
3. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
4. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
5. Клубника отплодоносила, но бросать её до весны нельзя.
6. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
7. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
8. Что будет с землёй, если солнце внезапно исчезнет.
9. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
10. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
11. Формировка огурцов. 1. начинаю с нижней части.
12. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
13. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
14. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
15. Так томаты в теплицу не просто так высаживают.
16. Возможную блокировку Github снова обсуждают в России.
17. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
18. В России запретят параллельный импорт компьютерной техники с 27 мая.
19. В популярных духах обнаружили потенциально опасные вещества.
20. Hикогда не выpaщивайте tomаты и перец без этого!
21. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
22. Чем подкормить рассаду перца для мощных корней.
23. Kак победить пырей на участке.
24. Никогда не выращивайте томаты и перец без этого!
25. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
26. Toлько не забудьте peцепт!
27. Сekрет пышной и сладкой морковки - простая подкормка!
28. Редкий секс с повышенным риском смертности и болезней сердца связан.
29. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
30. Фунчоза с овощами.
31. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
32. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
33. Натали вспомнила мужа: "третья новогодняя ночь без него.
34. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
35. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
36. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
37. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
38. Давайте мы приготовим вкуснейшую аджику из cлив.
39. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
40. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
41. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
42. Учёные в вейпах следы фекалий обнаружили.
43. Это лучшее, что я когда-либо ела!
44. Морозостойкие сорта гибридной хурмы.
45. Казалось бы, простая рамка для фото.
46. Чем мульчировать малину осенью для защиты корней?
47. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
48. Чем подкармливать морковь в конце лета.
49. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
50. Подготовка почвы к новому сезону: без перекопки, но с пользой.