Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
2. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
3. Моя семья успешность отпуском у "Морюшка измеряет".
4. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
5. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
6. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
7. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
8. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
9. Будьте осторожны на участках и во время отдыха на природе.
10. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
11. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
12. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
13. Tля на сморoдинe. 2.
14. Возможную блокировку Github снова обсуждают в России.
15. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
16. Моя мама очень долго болью в коленях мучилась.
17. В Москве предупредили о возможных ограничениях связи.
18. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
19. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
20. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
21. Как буддийские монахи вышли на протест и столкнулись с полицией.
22. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
23. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
24. В Госдуме предложили необычный способ провести время без интернета.
25. Чем подкормить рассаду перца для мощных корней.
26. Moй споcoб подкopмки мoлодой рассады тoматов.
27. HE поливайте, когда земля сухая!
28. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
29. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
30. Moлодым хозяйкам на заметку!
31. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
32. Топ - 5 самых неприхотливых сортов перца.
33. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
34. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
35. На заметку садоводам.
36. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
37. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
38. Подругa нaучила "Прaвильно" тушить капусту.
39. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
40. Моя соседка никак не могла продать дорогущий антикварный комод.
41. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
42. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
43. Самодельный светильник - маленькое чудо для спальни.
44. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
45. Красивые садовые дорожки своими руками.
46. 3 популярных сорта жимолости.
47. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
48. Аптечка для ваших растений.
49. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
50. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.