使用v100+vllm推理qwenasr
作者：互联网观察 发布时间：May 19, 2026 分类：互联网观察
先安装 qwenasr
然后安装vllm
支持v100的 vllm停留在 0.18.1
需要安装这个版本。
然后直接推理即可：
uv run vllm serve Qwen/Qwen3-ASR-0.6B --gpu-memory-utilization 0.7 --dtype float16
相关文章
- 无相关文章
文档信息
- 版权声明：自由转载-非商用-非衍生-保持署名 | Creative Commons BY-NC-ND 3.0
- 原文网址：https://www.tianmeng.org/archives/534/
- 最后修改时间：2026年05月19日 15:05:33
当前暂无评论 »