MakazhanAlpamys/Soup
Soup 是大语言模型微调工具,用一个配置文件和命令简化训练,适合想用自己的数据调整模型的开发者。
用一个 YAML 微调 LLM。Layer streaming 可在 4 GB 笔记本 GPU 上训练 8B 模型
- 用 YAML 配置文件指定训练任务,工具可自动处理显卡识别、批量大小和量化,即减少模型占用空间的处理。
- 根据 README 节选,按层流式加载可将基础模型从内存逐层送入显卡,在特定配置下用 4 GB 显存微调 80 亿参数模型,需主动开启且仍属测试功能。
- 入门流程:运行 pipx install "soup-cli[train]" 安装 → soup init –template chat 创建配置 → soup train 开始训练。
- 训练后可用 soup chat 与模型对话,再通过 soup push 上传,或导出为 GGUF 格式供 Ollama、llama.cpp 使用。
- 适合希望在本地显卡上微调聊天、代码等模型的人,具体模型和配置所需的完整硬件条件,所给节选未说明。
发表回复