sgl-project/sglang-omni · 中文介绍

sgl-project/sglang-omni

★ 1,769 · Forks 725

SGLang-Omni 是把语音和多模态模型部署成服务的运行框架,用于搭建语音助手、多模态聊天及音视频生成应用。

面向交互式超级智能系统的高性能服务运行时。

  • 适合部署模型服务的开发者,可提供语音转文字、文字转语音、多模态聊天、图像和视频生成等能力,具体功能取决于所选模型。
  • 语音助手可按“语音识别→语言模型回复→语音合成”串联,也支持部分模型边听边说,以及对话中的打断。
  • 它把模型处理拆成多个阶段,分别安排计算和数据传递,并提供兼容 OpenAI 接口的服务,方便应用接入。
  • 硬件支持 NVIDIA CUDA 和部分模型的 Intel GPU 部署,Apple Silicon 目前仅列出实验性的 Qwen3-ASR 支持。
  • 入门可按“阅读安装指南→选择模型教程→启动服务→调用接口”进行,具体启动方式和硬件需求需查看对应模型指南。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-13T12:50:12+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注