ggml-org/llama.cpp · 中文介绍

ggml-org/llama.cpp

★ 134,799 · Forks 25,539

llama.cpp 是用 C/C++ 编写的模型运行工具,可在本地或云端运行大语言模型及视觉语言模型,让模型根据文字或图像输入生成回答。

用 C/C++ 进行大语言模型推理。

  • 适合想在自己的设备上运行模型,或为应用提供模型接口的用户和开发者。
  • 支持多种处理器和显卡,包括苹果芯片、NVIDIA 和 AMD 显卡,也能让处理器与显卡共同运行模型。
  • 支持量化,即用更少位数存储模型数值,以减少内存占用并加快运行。
  • 提供命令行交互、内置网页界面,以及兼容 OpenAI 调用方式的服务接口。
  • 入门流程:选择安装方式 → 执行 llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF 下载并运行示例模型。
  • 需要提供接口时,可执行 llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF;资料未说明该模型所需的最低内存或显存。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-13T07:35:10+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注