MakazhanAlpamys/Soup · 中文介绍

MakazhanAlpamys/Soup

★ 10,129 · Forks 1,669

Soup 是大语言模型微调工具,用一个配置文件和命令简化训练,适合想用自己的数据调整模型的开发者。

用一个 YAML 微调 LLM。Layer streaming 可在 4 GB 笔记本 GPU 上训练 8B 模型

  • 用 YAML 配置文件指定训练任务,工具可自动处理显卡识别、批量大小和量化,即减少模型占用空间的处理。
  • 根据 README 节选,按层流式加载可将基础模型从内存逐层送入显卡,在特定配置下用 4 GB 显存微调 80 亿参数模型,需主动开启且仍属测试功能。
  • 入门流程:运行 pipx install "soup-cli[train]" 安装 → soup init –template chat 创建配置 → soup train 开始训练。
  • 训练后可用 soup chat 与模型对话,再通过 soup push 上传,或导出为 GGUF 格式供 Ollama、llama.cpp 使用。
  • 适合希望在本地显卡上微调聊天、代码等模型的人,具体模型和配置所需的完整硬件条件,所给节选未说明。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-13T12:35:59+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注