FareedKhan-dev/kimi-k3-in-c
这是用 C99 编写的 Kimi K3 文本生成引擎,旨在让单台电脑仅用 CPU、较少内存运行大型模型。
2.78 万亿参数的 Kimi K3 在单 CPU、8.24 GB 内存上运行推理;可移植 C99,无需 BLAS、框架或 GPU。
- 据 README 节选,引擎通过按需从磁盘读取模型数据降低内存占用,报告峰值内存为 8.24 GB,但模型文件仍约占 1.56 TB。
- 支持文本续写和多轮文字聊天,聊天可调整生成的随机程度,尚不支持图像、工具调用或 HTTP 服务。
- 低内存运行需要频繁读盘,节选报告每个文本片段约需半分钟,实际速度受内存和磁盘影响。
- 适合想研究 C 语言模型推理、或尝试无 GPU 本地运行的开发者,运行前仍需考虑大容量存储和等待时间。
- 入门可按文档克隆仓库→构建并进行无模型验证→另行准备模型权重→选择内存预设运行,节选未展示完整安装命令。
- 仓库不包含模型权重,模型另有许可;节选明确未提供困惑度或任务评测,不能据此判断整体回答质量。
发表回复