ggml-org/llama.cpp
llama.cpp 是用 C/C++ 编写的模型运行工具,可在本地或云端运行大语言模型及视觉语言模型,让模型根据文字或图像输入生成回答。
用 C/C++ 进行大语言模型推理。
- 适合想在自己的设备上运行模型,或为应用提供模型接口的用户和开发者。
- 支持多种处理器和显卡,包括苹果芯片、NVIDIA 和 AMD 显卡,也能让处理器与显卡共同运行模型。
- 支持量化,即用更少位数存储模型数值,以减少内存占用并加快运行。
- 提供命令行交互、内置网页界面,以及兼容 OpenAI 调用方式的服务接口。
- 入门流程:选择安装方式 → 执行 llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF 下载并运行示例模型。
- 需要提供接口时,可执行 llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF;资料未说明该模型所需的最低内存或显存。
发表回复