bojieli/ai-infra-book · 中文介绍

bojieli/ai-infra-book

★ 7,807 · Forks 627

这是一本讲解人工智能基础设施的开源书,帮助读者估算大模型的资源需求,理解推理与训练系统如何设计和优化。

李博杰《深入理解 AI Infra:量化分析与系统设计》开源书稿,从硬件与模型出发分析大模型推理和训练系统,附正文、PDF、计算工具与实验。

  • 学习方法是明确任务要求 → 估算计算、存储和通信需求 → 对照硬件限制推导设计,重点关注数据搬移的代价。
  • 内容覆盖模型架构、加速器、网络、推理优化、分布式训练和资源调度,适合想理解模型速度与成本的开发者,以及系统、网络和芯片方向的工程师与学生。
  • 入门需要一些 Python、线性代数和计算机系统基础,建议先读第1至3章,再按兴趣选读,并通过在线版、PDF或EPUB阅读。
  • 配套计算工具可复算书中数字或替换模型参数估算资源需求,静态计算仅需 Python 3.10+ 标准库,无需显卡或模型权重。
  • 配套实验按章节提供运行方法、输入条件和结果说明,需要显卡的实验会注明要求,缺少设备时也可阅读已有记录。
  • 书稿目前仍是持续修订的初稿,复现或引用实验结果时应核对书稿版本、模型、硬件和输入参数。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-15T15:24:17+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注