Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Из одного кочана делаю целую сковороду капустных шницелей.
2. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
3. Американец с самым крошечным пенисом в мире на увеличение пошёл.
4. Муж постоянно по утрам будит.
5. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
6. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
7. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
8. Работаю в банке.
9. Дочку с самого детства учила нести ответственность за свои поступки.
10. Будьте осторожны на участках и во время отдыха на природе.
11. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
12. Привычные повседневные продукты от потребителей свою темную историю скрывают.
13. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
14. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
15. Без иронии, вначале попробуйте, это очень вкусный напиток.
16. Препараты от болезней томатов!
17. Туапсе экологическая катастрофа хуже анапской грозит.
18. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
19. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
20. Последний защитник брестской крепости.
21. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
22. Топ - 7 наборов семян, которые должны быть у каждого!
23. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
24. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
25. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
26. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
27. Про выращивание укропа.
28. Caлат "Пиковая Дама".
29. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
30. Дeвочки, прошу вaшего совета.
31. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
32. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
33. Моя соседка никак не могла продать дорогущий антикварный комод.
34. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
35. Маринованные помидоры. Предлагаю рецепт помидорчиков.
36. Разбираемся как бороться с червяками на малине.
37. Конечно! Вот классический рецепт варенья из яблок с апельсином:
38. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
39. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
40. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
41. Очень вкусная аджика на зиму!
42. Калина с медом.
43. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
44. Аптечка для ваших растений.
45. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
46. Лето без арбуза и дыни - не лето!
47. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
48. Лучшие инструменты для веб-скраппинга: как эффективно извлекать данные
49. Топ-15 инструментов для веб-скрейпинга в 2025 году: обзор и рекомендации
50. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.