NVIDIA/SkillEvaluator · 中文介绍

NVIDIA/SkillEvaluator

★ 1,377 · Forks 161

SkillEvaluator是评估AI智能体技能的工具,通过质量检查和有无技能的运行对比,帮助开发者判断技能是否合格、是否改善任务结果。

用于评估AI智能体技能的多层框架,支持质量门槛检查、语义重叠检测、合成评测数据生成和实际运行评测,衡量技能对智能体行为的影响。

  • 这里的技能是包含操作说明和配套文件的文件夹,适合编写、维护或审核智能体技能的开发者和团队。
  • 评测分三层:质量与安全检查→重复或含义重叠检测→智能体实际运行评测;各层可独立使用,也可串成流程。
  • 支持生成评测数据,但自动生成的起步案例覆盖有限,需要人工检查;实际运行评测需要模型服务、受支持的智能体和运行沙箱。
  • 入门可安装Git和uv,克隆仓库后对自带的text-analyzer示例运行quality-check,无需API密钥、GPU或Docker;这一步只检查静态质量。
  • 可接入GitHub或GitLab,在技能变更时自动检查并生成报告;GitHub用户可安装skillevaluator后运行skillevaluator ci init引导配置。
  • 项目处于实验阶段,由社区尽力支持;完整安全检查还需扫描工具,模型和托管沙箱的使用可能产生费用。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-13T12:52:34+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注