pytorch/torchtitan · 中文介绍

pytorch/torchtitan

★ 5,927 · Forks 1,092

TorchTitan 是面向大规模生成式 AI 训练的 PyTorch 原生平台。它在同一套代码中覆盖预训练、监督微调和强化学习,并允许研究者组合多种并行策略,无需为每种组合重写模型。

并行策略如何组合

模型声明如何分片,TorchTitan 通过 PyTorch 的 DeviceMesh 和 DTensor,把 FSDP2、张量并行、流水线并行、上下文并行和专家并行组合到多维设备布局中。想研究不同并行策略如何配合,可以从分布式技术文档入手,再对照模型的分片定义阅读代码。

按模型和训练阶段筛选

README 的模型表分别列出支持的规模、模态、已验证配方和强化学习支持。例如,Llama 3 和 Qwen3 都标有强化学习支持,并分别列出 llama3_8b、llama3_70b 和 qwen3_14b 等已验证配方。按 README 的说明,每个模型都有在持续集成中运行的调试配置,已验证配方则在训练、收敛或性能验证流程中运行过。

从调试模型上手

README 的快速入门使用 Python 3.11 或更高版本和 PyTorch nightly,从源码安装。可以先运行调试模型,它使用测试自带的分词器,省去额外下载。选定正式模型后,可以从已验证配方入手。每份配方都是返回完整运行配置的 Python 函数,可以复制后修改。若目标是强化学习,可以直接看 TitanRL 的快速入门,其中列出了单独的环境安装入口。

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注