sgl-project/sglang-omni
SGLang-Omni 是把语音和多模态模型部署成服务的运行框架,用于搭建语音助手、多模态聊天及音视频生成应用。
面向交互式超级智能系统的高性能服务运行时。
- 适合部署模型服务的开发者,可提供语音转文字、文字转语音、多模态聊天、图像和视频生成等能力,具体功能取决于所选模型。
- 语音助手可按“语音识别→语言模型回复→语音合成”串联,也支持部分模型边听边说,以及对话中的打断。
- 它把模型处理拆成多个阶段,分别安排计算和数据传递,并提供兼容 OpenAI 接口的服务,方便应用接入。
- 硬件支持 NVIDIA CUDA 和部分模型的 Intel GPU 部署,Apple Silicon 目前仅列出实验性的 Qwen3-ASR 支持。
- 入门可按“阅读安装指南→选择模型教程→启动服务→调用接口”进行,具体启动方式和硬件需求需查看对应模型指南。
发表回复