ggml-org/ggml
ggml 是用于机器学习的张量计算库,可处理多维数组运算,适合需要跨平台底层计算能力的 C/C++ 开发者。
用于机器学习的张量库
- 使用 C/C++ 实现,无外部依赖,目标是让机器学习计算的接入更简单。
- 支持 x86、ARM、RISC-V 等多种架构,并提供 CPU、GPU、NPU 和浏览器计算后端。
- 支持 2 至 8 位整数等量化格式,即用更少位数表示数值,并声明运行期间不进行内存分配。
- 入门可按 README 操作:克隆仓库 → 创建并进入 build 目录 → 用 CMake 配置和编译。
- 可先阅读 examples/simple 中带完整注释的矩阵乘法示例,再参考 ggml 入门文档和 GGUF 文件格式说明。
- 修改核心库或 CMake 构建系统时,README 要求向 llama.cpp 仓库提交合并请求。
发表回复