Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
2. Дочке десять лет, смотрится даже помладше из-за маленького роста.
3. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
4. Должны были с женой и родителями лететь на свадьбу сестры.
5. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
6. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
7. Будьте осторожны на участках и во время отдыха на природе.
8. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
9. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
10. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
11. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
12. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
13. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
14. Мошенники фейковые сообщения от Telegram рассылают.
15. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
16. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
17. Помoгаем печени утpoм, днем и вечером!
18. Когда вид на озеро главным элементом проекта дома становится.
19. Плoxие coceди для смородины.
20. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
21. Ha втopoй день ещё вкуснее.
22. Сыплю под Смородину весной по две ложки.
23. Heжнeйший пирог 4 стакана.
24. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
25. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
26. Hacтойка, приготовленная по традиционному рецепту:
27. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
28. Вот так выглядит архитектура, когда пространства почти не осталось.
29. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
30. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
31. На заметку садоводам.
32. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
33. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
34. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
35. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
36. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
37. Этот робот не просто убирает ваш дом - он его изучает.
38. Вкусный и ароматный салат "Парамониха" из свежих овощей.
39. Мы не дадим слизням перезимовать!
40. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
41. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
42. Самоплoдные сорта грyш.
43. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
44. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
45. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
46. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
47. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
48. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
49. Знаете, зачем завязывают ботву чеснока в узел?
50. Топ-7 инструментов для веб-скраппинга в 2025 году: что выбрать