jingyaogong/minimind · 中文介绍

jingyaogong/minimind

★ 66,499 · Forks 8,731

一句话理解

MiniMind 是一套可以动手复现的小语言模型教程。它用同一个模型串起两种训练:先从普通文本里学习怎么续写,再用带角色的问答样本继续训练,让模型学会在用户提问后以助手身份作答。核心训练代码直接用 PyTorch 实现,读者可以沿着代码追踪数据怎么进入模型、参数在哪一步更新。

它解决什么问题

只运行现成模型,能看到它怎么回答,却很难看出这种行为是在哪个训练阶段形成的。MiniMind 把这个问题缩小到约 6400 万参数的主线模型,并给出一条使用两份精简数据的入门路线。沿这条路线学习,可以把成功标准定为拿到预训练和指令微调各自产出的权重,能加载它们做生成,并能解释普通文本和对话示例分别教给了模型什么。

从输入到输出

流程可以拆成四环。第一环是准备普通文本和带角色的对话,用仓库配套的分词器把它们变成编号。模型按编号读写文本,训练后如果换了词表或切分规则,已有权重就可能与新的编号对应不上。第二环是预训练。从初始参数出发,让模型根据前文猜下一个编号,用实际出现的编号纠正预测,保存学到的权重。缺少普通文本或这一阶段产出的权重,从零复现就无法按这条路线接到下一环。第三环是指令微调。接着更新预训练权重,把谁在提问、谁在回答写进对话模板,让模型反复看到助手该怎样接话。缺少这类对话样本,就少了这一步的指令跟随训练。第四环是推理。加载相应阶段的权重,把新输入编码后逐步生成,再解码成可读文本。两阶段各自留下权重,因此也可以分别观察它们生成的内容。

用一个小任务理解

理解示例(未实测):设想你想看模型能否根据两条信息写一则通知。先用精简版文本数据做预训练并保留权重,再用精简版对话数据做指令微调。完成后输入一条事先留作检查的提示:“读书会改到周六下午三点,地点不变。请用一句话通知大家。”提示按对话模板组织,交给微调后的模型生成。预期输出类似“读书会改到周六下午三点,地点不变。”检查时看它有没有保留新时间和地点不变这两点,有没有只写一句话,以及有没有擅自补出一个地点。

改变一个条件会怎样

预测与验证(待检验):沿用通知案例,只把加载的权重从指令微调阶段换成预训练阶段。预计模型仍能生成与通知有关的文字,但更容易接着写背景或补充说明,严格遵守一句话要求的比例可能降低。可以预先准备一小组同类提示,固定输入格式、分词器、生成设置和输出长度上限,分别加载两份权重。逐条记录是否保留关键信息、是否只写一句、是否添加原文没有的细节。若两组在这些项目上表现接近,就把结论限定在这组提示上,别凭单条输出判断哪个阶段更会遵循指令。

适合谁,哪里会失效

根据资料推断:这条路线适合想读懂 PyTorch 训练代码、亲手跑过两个阶段的学习者。若任务需要稳定的事实问答,仓库展示的地理与科学常识回答里已有明显错误,早期 Zero 示例也有答非所问的情况。作者将开头的“两小时”限定为单张 NVIDIA 3090 上一轮指令微调的耗时,另把精简方案两阶段合计约 2.31 小时列为估算。资料未给出你的设备和训练设置对应的峰值显存及耗时,安排实验前仍需在本机确认。

第一次尝试时看什么

根据资料推断:准备动手时,先确认 PyTorch 能识别计划使用的计算设备,再各读一条精简版预训练和指令微调样本。试着指出前者要预测哪段后续文字,后者哪一段是用户请求、哪一段是助手回复。训练后保留两份权重,用同一组提示做对照,再决定是否需要研究更长的输入或其他训练阶段。

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注