karpathy/nanochat · 中文介绍

karpathy/nanochat

★ 60,229 · Forks 8,439

nanochat 是一个精简的大语言模型训练实验工具,用于从头训练、评估并运行可对话的模型,适合学习训练流程和开展小模型研究。

100 美元能买到的最好的 ChatGPT

  • 覆盖完整流程:文本切分为模型可处理的单元 → 预训练 → 微调 → 评估 → 运行模型并对话。
  • 通过 –depth 设置模型层数,其余主要训练参数自动计算,方便比较不同大小的模型。
  • 入门可先用 uv sync –extra gpu 安装依赖并激活环境,再运行 bash runs/speedrun.sh;该脚本面向配有 8 张 H100 的单台机器。
  • 训练完成后,可运行 python -m scripts.chat_cli 在命令行与模型对话,但模型仍可能编造答案。
  • 支持单张显卡运行,但耗时更长;显存不足时需减小每批处理的数据量,CPU 或苹果芯片示例则使用能力较弱的小模型。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-13T12:14:25+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注