vllm-project/vllm
vLLM 是运行大语言模型并将其部署成接口服务的工具,适合需要处理大量模型请求的开发者和团队。
用于大语言模型推理和服务部署的高吞吐、内存高效引擎。
- 通过持续合并请求和高效管理模型计算时的缓存,提高请求处理能力并节省内存。
- 支持 Hugging Face 上的 200 多种模型架构,涵盖文本生成、多模态、向量检索和分类等用途。
- 提供兼容 OpenAI 的接口服务,支持流式输出、结构化输出和工具调用,便于应用接入。
- 支持多种 GPU、CPU 及硬件插件,也能把模型计算分摊到多张卡或多台机器。
- 入门流程:用 uv pip install vllm 安装 → 用 vllm download-kernels 下载预编译计算组件 → 按快速入门文档选择模型并启动服务。
发表回复