vllm-project/vllm · 中文介绍

vllm-project/vllm

★ 96,964 · Forks 24,853

vLLM 是运行大语言模型并将其部署成接口服务的工具,适合需要处理大量模型请求的开发者和团队。

用于大语言模型推理和服务部署的高吞吐、内存高效引擎。

  • 通过持续合并请求和高效管理模型计算时的缓存,提高请求处理能力并节省内存。
  • 支持 Hugging Face 上的 200 多种模型架构,涵盖文本生成、多模态、向量检索和分类等用途。
  • 提供兼容 OpenAI 的接口服务,支持流式输出、结构化输出和工具调用,便于应用接入。
  • 支持多种 GPU、CPU 及硬件插件,也能把模型计算分摊到多张卡或多台机器。
  • 入门流程:用 uv pip install vllm 安装 → 用 vllm download-kernels 下载预编译计算组件 → 按快速入门文档选择模型并启动服务。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-15T00:16:17+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注