openvinotoolkit/openvino · 中文介绍

openvinotoolkit/openvino

★ 11,342 · Forks 3,603

一句话理解

可以把模型转换和设备编译理解为两次准备。转换把原框架里的模型交给 OpenVINO 表示,设备编译再把转换后的模型准备成能在指定设备上运行的形式。仓库的 PyTorch 和 TensorFlow 示例来自不同框架,两条路径最终都在 CPU 上接收数据并执行推理。

它解决什么问题

手头已经有训练好的深度学习模型,接下来要让它在目标设备上接收新数据并返回结果。OpenVINO 是面向这一步的开源工具包,用于优化和部署推理。第一次尝试可以把成功标准定得很具体:模型完成转换,能为选定设备编译,并对一份符合要求的输入返回结果。安装检查只确认 Python 能导入工具包并读到版本,首轮推理则要实际走完模型到输出的流程。

从输入到输出

流程可拆成四步。第一步取得模型。示例先在原框架里加载预训练模型,加载失败就没有可交给转换器的模型对象。第二步转换。PyTorch 示例同时交给转换器一个样例输入,展示模型接收的数据形状。转换得不到 OpenVINO 模型,后面的设备编译就无从开始。第三步选设备并编译。两个示例都明确选用 CPU,只有编译成功,才能取得供该次推理调用的对象。第四步把数据送入已编译的模型并接收结果。输入需要符合模型接口,否则即使模型已经编译,也可能在推理调用时失败。

用一个小任务理解

理解示例(未实测):设想你想在电脑上先跑通一次图像分类模型的推理。沿用仓库的 TensorFlow 示例,加载带预训练权重的 MobileNetV2,转换后为 CPU 编译,再送入一组形状为 1×224×224×3 的随机数。四个维度依次表示一份输入、224 像素高、224 像素宽和三个通道。预期能取得一次模型输出。随机数足以用来检查接口是否接通。要判断分类是否正确,可以另外准备一张类别已知的真实图片,并按模型要求预处理和解读输出。

改变一个条件会怎样

预测与验证(待检验):沿用这个案例,先取原形状的输入跑一次,再复用同一个已编译模型,只把输入的通道数从三减到一,例如从原数组中保留第一个通道。若编译后的输入接口要求三个通道,预计第二次调用会因形状不匹配而报错。验证时查看模型的输入形状,并记录两次调用分别是返回输出还是报错。若两次都返回输出,再检查实际使用的输入接口是否允许单通道。

适合谁,哪里会失效

根据资料推断:这条入门路径适合已有模型、想确认它能否在某台设备上运行的开发者。仓库列出了 CPU、GPU 和 NPU 的支持范围,并把具体的系统要求和设备清单放在文档里。这里的代码展示到 CPU 推理为止,资料没有给出你的模型在特定设备上的转换结果、延迟或准确率。若目标是判断部署后是否更快,还需要在目标设备上用同一批输入对照测量。

第一次尝试时看什么

根据资料推断:第一次尝试可以先核对系统要求,确认 Python 能导入 OpenVINO,再照快速入门完成一次 CPU 推理。换成自己的模型时,记录最先出现问题的环节。加载失败就先检查模型和权重能否取得,转换失败就核对模型来源和输入要求,编译失败就查目标设备支持,推理调用失败则先比对实际输入与模型接口。

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注