AI編譯器開發(fā)指南

前言
第1章 AI編譯器基礎(chǔ)
1.1AI編譯器概述
1.1.1AI芯片及其分類
1.1.2AI編譯器的結(jié)構(gòu)與特征
1.2常用AI編譯器介紹
1.2.1TVM整體架構(gòu)
1.2.2TensorFlow XLA整體架構(gòu)
1.2.3Glow整體架構(gòu)
1.3LLVM編譯器基礎(chǔ)
1.3.1LLVM前端工作流程
1.3.2LLVM IR格式和語法
1.3.3LLVM后端工作流程
1.4GPGPU編譯器基礎(chǔ)
1.4.1GPGPU編譯器工作流程
1.4.2Clang對CUDA的處理
1.4.3GPGPU編譯器的IR優(yōu)化
第2章 開源AI編譯器實現(xiàn)分析
2.1TVM的系統(tǒng)設(shè)計
2.1.1TVM的圖級優(yōu)化
2.1.2TVM的計算與調(diào)度
2.1.3TVM的自動調(diào)優(yōu)框架
2.2TensorFlow XLA的系統(tǒng)設(shè)計
2.2.1XLA的聚類過程
2.2.2XLA的IR設(shè)計和編譯過程
2.2.3開啟XLA的方式
2.2.4XLA JIT的圖優(yōu)化過程
2.2.5XLA JIT的代碼生成
2.3Glow的系統(tǒng)設(shè)計
2.3.1Glow的高階IR
2.3.2Glow的低階IR
2.3.3Glow的量化方法
2.3.4Glow的后端設(shè)計
2.4AI編譯器特性總結(jié)
2.4.1AI編譯器的多階IR設(shè)計
2.4.2AI編譯器的前端優(yōu)化
2.4.3AI編譯器的后端優(yōu)化
第3章 定制化AI編譯器設(shè)計與實現(xiàn)
3.1定制化AI編譯器設(shè)計框架
3.2TVM的高階中間表示
3.2.1TVM高階中間表示的表達(dá)
3.2.2TVM高階中間表示的數(shù)據(jù)表示實現(xiàn)
3.2.3TVM高階中間表示的算子實現(xiàn)
3.3TVM的低階中間表示
3.3.1TVM低階中間表示的表達(dá)
3.3.2TVM代碼生成的定制化開發(fā)
3.3.3TVM運行時的定制化開發(fā)
3.4TVM的前后端優(yōu)化
3.4.1TVM pass的功能與實現(xiàn)
3.4.2TVM的前端優(yōu)化
3.4.3TVM的后端優(yōu)化
第4章 GPGPU編譯器后端設(shè)計
4.1LLVM后端開發(fā)流程
4.1.1異構(gòu)計算程序工作流程
4.1.2LLVM后端執(zhí)行流程
4.1.3LLVM中的pass及其管理機(jī)制
4.2指令選擇
4.2.1指令選擇原理與實現(xiàn)方式
4.2.2基于SelectionDAG的指令選擇
4.2.3快速指令選擇
4.2.4全局指令選擇
4.3指令調(diào)度
4.3.1指令調(diào)度原理
4.3.2LLVM中的指令調(diào)度器及其工作過程
4.3.3調(diào)度pass的定制
4.4寄存器分配
4.4.1寄存器分配原理
4.4.2LLVM寄存器分配
4.4.3貪厭寄存器分配實現(xiàn)過程分析
第5章 張量核的編程方法與編譯器支持
5.1沃爾塔、圖靈和安培架構(gòu)特性
5.1.1沃爾塔架構(gòu)特性
5.1.2圖靈架構(gòu)特性
5.1.3安培架構(gòu)特性
5.2張量核編程方法
5.2.1WMMA API及其用法
5.2.2CUTLASS中的張量核編程
5.3編譯器后端對張量核的支持
5.3.1wmma PTX指令及其用法
5.3.2mma和ldmatrix PTX指令及其用法
5.3.3WMMA intrinsic函數(shù)定義
5.3.4NVPTX后端對wmma PTX指令的支持
第6章 AI模型性能分析與編譯器優(yōu)化方法
6.1AI模型性能的衡量指標(biāo)和影響因素
6.1.1計算訪存比
6.1.2算術(shù)強(qiáng)度和操作字節(jié)比
6.1.3內(nèi)存級并行性和線程束并行性
6.2SM占用率及其編程接口
6.2.1理論占用率和實際占用率
6.2.2理論占用率約束條件分析
6.2.3CUDA運行時占用率編程接口
6.3基于占用率的指令調(diào)度優(yōu)化
6.3.1AMD GPU編程模型和硬件執(zhí)行模型
6.3.2AMDGPU后端的指令調(diào)度算法優(yōu)化
第7章 AI芯片軟硬件系統(tǒng)接口設(shè)計
7.1GPGPU軟硬件接口設(shè)計
7.1.1GPGPU主機(jī)端編程接口
7.1.2內(nèi)核分派過程
7.1.3GPGPU硬件分派過程
7.2AI加速器軟硬件接口設(shè)計
7.2.1AI加速器硬件架構(gòu)
7.2.2AI加速器設(shè)備軟件棧
7.3量化技術(shù)與實現(xiàn)
7.3.1量化技術(shù)原理
7.3.2算子量化和激活函數(shù)量化
7.3.3激活函數(shù)量化方法
參考文獻(xiàn)