大規(guī)模語言模型：從理論到實(shí)踐

第1章   緒論 1
1.1 大語言模型的基本概念 1
1.2 大語言模型的發(fā)展歷程 4
1.3 大語言模型的構(gòu)建流程 8
1.4 本書的內(nèi)容安排 11
第2章   大語言模型基礎(chǔ) 13
2.1 Transformer結(jié)構(gòu) 13
2.1.1 嵌入表示層 14
2.1.2 注意力層 16
2.1.3 前饋層 18
2.1.4 殘差連接與層歸一化 19
2.1.5 編碼器和解碼器結(jié)構(gòu) 20
2.2 生成式預(yù)訓(xùn)練語言模型GPT 25
2.2.1 無監(jiān)督預(yù)訓(xùn)練 26
2.2.2 有監(jiān)督下游任務(wù)微調(diào) 27
2.2.3 基于HuggingFace的預(yù)訓(xùn)練語言模型實(shí)踐 27
2.3 大語言模型的結(jié)構(gòu) 33
2.3.1 LLaMA的模型結(jié)構(gòu) 34
2.3.2 注意力機(jī)制優(yōu)化 40
2.4 實(shí)踐思考 47
第3章   大語言模型預(yù)訓(xùn)練數(shù)據(jù) 49
3.1 數(shù)據(jù)來源 49
3.1.1 通用數(shù)據(jù) 50
3.1.2 專業(yè)數(shù)據(jù) 51
3.2 數(shù)據(jù)處理 52
3.2.1 質(zhì)量過濾 52
3.2.2 冗余去除 53
3.2.3 隱私消除 55
3.2.4 詞元切分 55
3.3 數(shù)據(jù)影響分析 61
3.3.1 數(shù)據(jù)規(guī)模 61
3.3.2 數(shù)據(jù)質(zhì)量 64
3.3.3 數(shù)據(jù)多樣性 66
3.4 開源數(shù)據(jù)集 68
3.4.1 Pile 68
3.4.2 ROOTS 71
3.4.3 RefinedWeb 73
3.4.4 SlimPajama 75
3.5 實(shí)踐思考 79
第4章   分布式訓(xùn)練 80
4.1 分布式訓(xùn)練概述 80
4.2 分布式訓(xùn)練的并行策略 83
4.2.1 數(shù)據(jù)并行 84
4.2.2 模型并行 88
4.2.3 混合并行 96
4.2.4 計(jì)算設(shè)備內(nèi)存優(yōu)化 97
4.3 分布式訓(xùn)練的集群架構(gòu) 102
4.3.1 高性能計(jì)算集群的典型硬件組成 102
4.3.2 參數(shù)服務(wù)器架構(gòu) 103
4.3.3 去中心化架構(gòu) 104
4.4 DeepSpeed實(shí)踐 110
4.4.1 基礎(chǔ)概念 112
4.4.2 LLaMA分布式訓(xùn)練實(shí)踐 115
4.5 實(shí)踐思考 127
第5章   有監(jiān)督微調(diào) 128
5.1 提示學(xué)習(xí)和語境學(xué)習(xí) 128
5.1.1 提示學(xué)習(xí) 128
5.1.2 語境學(xué)習(xí) 130
5.2 高效模型微調(diào) 131
5.2.1 LoRA 131
5.2.2 LoRA的變體 135
5.3 模型上下文窗口擴(kuò)展 137
5.3.1 具有外推能力的位置編碼 137
5.3.2 插值法 138
5.4 指令數(shù)據(jù)的構(gòu)建 141
5.4.1 手動構(gòu)建指令 141
5.4.2 自動構(gòu)建指令 142
5.4.3 開源指令數(shù)據(jù)集 146
5.5 DeepSpeed-Chat SFT實(shí)踐 147
5.5.1 代碼結(jié)構(gòu) 148
5.5.2 數(shù)據(jù)預(yù)處理 151
5.5.3 自定義模型 153
5.5.4 模型訓(xùn)練 155
5.5.5 模型推理 156
5.6 實(shí)踐思考 157
第6章   強(qiáng)化學(xué)習(xí) 158
6.1 基于人類反饋的強(qiáng)化學(xué)習(xí) 158
6.1.1 強(qiáng)化學(xué)習(xí)概述 159
6.1.2 強(qiáng)化學(xué)習(xí)與有監(jiān)督學(xué)習(xí)的區(qū)別 161
6.1.3 基于人類反饋的強(qiáng)化學(xué)習(xí)流程 162
6.2 獎勵模型 163
6.2.1 數(shù)據(jù)收集 164
6.2.2 模型訓(xùn)練 166
6.2.3 開源數(shù)據(jù) 167
6.3 近端策略優(yōu)化 168
6.3.1 策略梯度 168
6.3.2 廣義優(yōu)勢估計(jì) 173
6.3.3 近端策略優(yōu)化算法 175
6.4 MOSS-RLHF實(shí)踐 180
6.4.1 獎勵模型訓(xùn)練 180
6.4.2 PPO微調(diào) 181
6.5 實(shí)踐思考 191
第7章   大語言模型應(yīng)用 193
7.1 推理規(guī)劃 193
7.1.1 思維鏈提示 193
7.1.2 由少至多提示 196
7.2 綜合應(yīng)用框架 197
7.2.1 LangChain框架核心模塊 198
7.2.2 知識庫問答系統(tǒng)實(shí)踐 216
7.3 智能代理 219
7.3.1 智能代理的組成 219
7.3.2 智能代理的應(yīng)用實(shí)例 221
7.4 多模態(tài)大語言模型 228
7.4.1 模型架構(gòu) 229
7.4.2 數(shù)據(jù)收集與訓(xùn)練策略 232
7.4.3 多模態(tài)能力示例 236
7.5 大語言模型推理優(yōu)化 238
7.5.1 FastServe框架 241
7.5.2 vLLM推理框架實(shí)踐 242
7.6 實(shí)踐思考 244
第8章   大語言模型評估 245
8.1 模型評估概述 245
8.2 大語言模型評估體系 247
8.2.1 知識與能力 247
8.2.2 倫理與安全 250
8.2.3 垂直領(lǐng)域評估 255
8.3 大語言模型評估方法 260
8.3.1 評估指標(biāo) 260
8.3.2 評估方法 267
8.4 大語言模型評估實(shí)踐 274
8.4.1 基礎(chǔ)模型評估 274
8.4.2 SFT模型和RL模型評估 277
8.5 實(shí)踐思考 282
參考文獻(xiàn) 284
索引 303