FareedKhan-dev/kimi-k3-in-c · 中文介绍

FareedKhan-dev/kimi-k3-in-c

★ 10,499 · Forks 1,647

这是用 C99 编写的 Kimi K3 文本生成引擎,旨在让单台电脑仅用 CPU、较少内存运行大型模型。

2.78 万亿参数的 Kimi K3 在单 CPU、8.24 GB 内存上运行推理;可移植 C99,无需 BLAS、框架或 GPU。

  • 据 README 节选,引擎通过按需从磁盘读取模型数据降低内存占用,报告峰值内存为 8.24 GB,但模型文件仍约占 1.56 TB。
  • 支持文本续写和多轮文字聊天,聊天可调整生成的随机程度,尚不支持图像、工具调用或 HTTP 服务。
  • 低内存运行需要频繁读盘,节选报告每个文本片段约需半分钟,实际速度受内存和磁盘影响。
  • 适合想研究 C 语言模型推理、或尝试无 GPU 本地运行的开发者,运行前仍需考虑大容量存储和等待时间。
  • 入门可按文档克隆仓库→构建并进行无模型验证→另行准备模型权重→选择内存预设运行,节选未展示完整安装命令。
  • 仓库不包含模型权重,模型另有许可;节选明确未提供困惑度或任务评测,不能据此判断整体回答质量。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-13T12:35:12+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注