vllm-project/vllm-ascend · 中文介绍

vllm-project/vllm-ascend

★ 3,108 · Forks 2,764

一句话理解

vLLM Ascend 通过 vLLM 的硬件插件接口接入华为昇腾 NPU,把昇腾设备的适配放在插件层。对使用者来说,推理任务仍交给 vLLM,插件负责接通昇腾后端。

它解决什么问题

手上有昇腾设备,又想用 vLLM 运行开源模型时,需要先让 vLLM 能调用这套硬件。仓库提供的就是这层适配。第一次尝试可以把成功标准定为:选定的受支持模型能加载,一条简短输入能得到该模型对应的输出,并能确认计算确实发生在昇腾设备上。

从输入到输出

从请求到结果可以看成四步。第一,按支持矩阵选模型和功能,确定这次请求属于插件覆盖的范围。第二,准备符合所选版本要求的昇腾设备和 Linux 软件环境。README 把 CANN、PyTorch、TorchNPU 列为前置依赖,并要求 vLLM 与插件版本一致。第三,vLLM 通过硬件插件接口接入昇腾后端,因此需要有可用的插件和设备才能走通这条路径。第四,提交请求后,受支持的模型在昇腾 NPU 上执行推理,产生与任务对应的结果。若缺少设备或后端依赖,单靠安装插件无法完成这条推理路径。

用一个小任务理解

理解示例(未实测):设想你有一台 Atlas 800I A2 系列设备,想确认它能否用 vLLM 处理一条文本请求。先按支持矩阵选一个受支持的文本生成模型,再按所选版本的安装和快速上手文档准备环境。模型加载后,输入“用一句话说明为什么下雨”,预期会收到一段关于降雨的文本。同时观察请求期间昇腾设备是否有对应的计算活动。这个设想检查的是从请求到设备执行再到返回文本的闭环,回答的具体措辞由模型决定。

改变一个条件会怎样

预测与验证(待检验):先建立一个能返回文本且能确认昇腾设备参与计算的基线。随后在对照环境中只移除 vLLM Ascend 插件,保留同一设备、模型、vLLM 版本、其余依赖和输入。预期原来的昇腾推理路径无法走通。两次都记录后端初始化信息、是否返回文本,以及请求期间的设备活动。若对照环境仍返回文本,先查生成结果的是哪个后端,再判断预测是否成立。

适合谁,哪里会失效

根据资料推断:适合已有昇腾设备、希望沿用 vLLM 做模型推理的开发者和部署人员。README 提到文本生成、向量表示、多模态等模型类型,具体到某个模型和功能仍要查支持矩阵。现有片段只有矩阵入口,缺少具体的支持条目,也没有给出吞吐量或延迟数据,因此无法据此判断目标模型能否运行或能否达到上线指标。

第一次尝试时看什么

根据资料推断:准备试用时,先记下手头的设备型号、目标模型和必需功能,再对照支持矩阵与所选版本的安装文档核对环境。若还没有昇腾设备,README 指向 HiDevLab 的开发和测试资源申请入口。

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注