NVIDIA/SkillEvaluator
SkillEvaluator是评估AI智能体技能的工具,通过质量检查和有无技能的运行对比,帮助开发者判断技能是否合格、是否改善任务结果。
用于评估AI智能体技能的多层框架,支持质量门槛检查、语义重叠检测、合成评测数据生成和实际运行评测,衡量技能对智能体行为的影响。
- 这里的技能是包含操作说明和配套文件的文件夹,适合编写、维护或审核智能体技能的开发者和团队。
- 评测分三层:质量与安全检查→重复或含义重叠检测→智能体实际运行评测;各层可独立使用,也可串成流程。
- 支持生成评测数据,但自动生成的起步案例覆盖有限,需要人工检查;实际运行评测需要模型服务、受支持的智能体和运行沙箱。
- 入门可安装Git和uv,克隆仓库后对自带的text-analyzer示例运行quality-check,无需API密钥、GPU或Docker;这一步只检查静态质量。
- 可接入GitHub或GitLab,在技能变更时自动检查并生成报告;GitHub用户可安装skillevaluator后运行skillevaluator ci init引导配置。
- 项目处于实验阶段,由社区尽力支持;完整安全检查还需扫描工具,模型和托管沙箱的使用可能产生费用。
发表回复