bojieli/ai-infra-book
这是一本讲解人工智能基础设施的开源书,帮助读者估算大模型的资源需求,理解推理与训练系统如何设计和优化。
李博杰《深入理解 AI Infra:量化分析与系统设计》开源书稿,从硬件与模型出发分析大模型推理和训练系统,附正文、PDF、计算工具与实验。
- 学习方法是明确任务要求 → 估算计算、存储和通信需求 → 对照硬件限制推导设计,重点关注数据搬移的代价。
- 内容覆盖模型架构、加速器、网络、推理优化、分布式训练和资源调度,适合想理解模型速度与成本的开发者,以及系统、网络和芯片方向的工程师与学生。
- 入门需要一些 Python、线性代数和计算机系统基础,建议先读第1至3章,再按兴趣选读,并通过在线版、PDF或EPUB阅读。
- 配套计算工具可复算书中数字或替换模型参数估算资源需求,静态计算仅需 Python 3.10+ 标准库,无需显卡或模型权重。
- 配套实验按章节提供运行方法、输入条件和结果说明,需要显卡的实验会注明要求,缺少设备时也可阅读已有记录。
- 书稿目前仍是持续修订的初稿,复现或引用实验结果时应核对书稿版本、模型、硬件和输入参数。
发表回复