開(kāi)啟智能對(duì)話新紀(jì)元：大規(guī)模語(yǔ)言模型的探索與實(shí)踐

第 1章大規(guī)模語(yǔ)言模型的背景介紹 1 
11語(yǔ)言建模的發(fā)展階段  2 
12大規(guī)模語(yǔ)言模型帶來(lái)的機(jī)遇  3
第 2章從統(tǒng)計(jì)語(yǔ)言模型到預(yù)訓(xùn)練語(yǔ)言模型 5 
21統(tǒng)計(jì)語(yǔ)言模型  6 
22神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型 7 
221前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型  7 
222循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型  8 
223長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型  9 
224 Word2Vec詞向量表示模型 10 
23 預(yù)訓(xùn)練語(yǔ)言模型 12 
ELMo 12
231 Transformer13
232 BERT 22
233 ELECTRA 23
234 GPT 1-325
235 BART 29
236 T5 31
237 
第 3章大規(guī)模語(yǔ)言模型的框架結(jié)構(gòu) 34 
31編碼器結(jié)構(gòu)36 
32 編碼器-解碼器結(jié)構(gòu) 36 
GLM36
321 UL2 41
322 
33 解碼器結(jié)構(gòu)43 
PaLM43
331 BLOOM45
332 InstructGPT47
333 
34 LLaMA家族 50 
341預(yù)訓(xùn)練數(shù)據(jù) 52 
342模型架構(gòu) 53 
343中文 LLaMA 62 
344中文 Alpaca66
第 4章大規(guī)模語(yǔ)言模型的訓(xùn)練方法 69 
41模型的訓(xùn)練成本 71 
411算力估算 71 
412費(fèi)用和能耗 72 
42有監(jiān)督微調(diào)74 
421提示學(xué)習(xí) 75 
422上下文學(xué)習(xí) 76 
423指令微調(diào) 77 
43參數(shù)高效微調(diào) 78 
431部分參數(shù)的高效微調(diào)79 
432參數(shù)增加的高效微調(diào)80 
433重參數(shù)化的高效微調(diào)91 
434混合高效微調(diào)系列 97 
44人類(lèi)反饋強(qiáng)化學(xué)習(xí)100 
441強(qiáng)化學(xué)習(xí) 101 
442近端策略優(yōu)化104 
443人類(lèi)反饋對(duì)齊111 
45大模型災(zāi)難性遺忘123
第 5章大模型分布式并行技術(shù)125 
51分布式系統(tǒng)125 
52數(shù)據(jù)并行 129 
521輸入數(shù)據(jù)切分130 
522模型參數(shù)同步131 
523數(shù)據(jù)并行優(yōu)化132 
 
53模型并行 134 
531 張量并行 134 
532 流水線并行 139 
533 優(yōu)化器相關(guān)并行 141 
54其他并行 146 
541 異構(gòu)系統(tǒng)并行146 
542 專(zhuān)家并行 147 
543 多維混合并行148 
544 自動(dòng)并行 149 
55并行訓(xùn)練框架 149 
551  Megatron-LM152 
552  DeepSpeed159 
Colossal-AI163
553 
第 6章大規(guī)模語(yǔ)言模型解碼推理優(yōu)化相關(guān)技術(shù) 168 
61解碼方法 168 
611 基于搜索的解碼方法169 
612 基于采樣的解碼方法171 
62推理優(yōu)化方法 174 
621 推理原理 177 
622 推理加速 177 
63模型壓縮技術(shù) 179 
631 量化 181 
632 剪枝 184 
633 蒸餾 186 
64顯存優(yōu)化技術(shù) 187 
641 鍵值緩存 187 
642 注意力優(yōu)化 188 
65算子優(yōu)化技術(shù) 195 
651 算子融合 195 
652 高性能算子 195 
66推理加速框架 195 
661  HuggingFace TGI196 
vLLM197
662 
663  LightLLM200
第 7章大規(guī)模語(yǔ)言模型的評(píng)估203 
71評(píng)估概述 205 
72評(píng)估體系 206 
 
721知識(shí)與能力 207 
722倫理與安全 209 
73評(píng)估方法 212 
731自動(dòng)評(píng)估 213 
732人工評(píng)估 217 
733其他評(píng)估 221 
74評(píng)估領(lǐng)域 223 
741通用領(lǐng)域 223 
742特定領(lǐng)域 226 
743綜合評(píng)測(cè) 227 
75評(píng)估挑戰(zhàn) 232
第 8章大規(guī)模語(yǔ)言模型與知識(shí)的結(jié)合233 
81知識(shí)和知識(shí)表示 233 
82知識(shí)圖譜簡(jiǎn)介 236 
83大規(guī)模語(yǔ)言模型和知識(shí)圖譜的結(jié)合 238 
84知識(shí)圖譜增強(qiáng)大規(guī)模語(yǔ)言模型 240 
841 LLM預(yù)訓(xùn)練階段240 
842 LLM評(píng)估階段 245 
843 LLM推理階段 247 
85大規(guī)模語(yǔ)言模型增強(qiáng)知識(shí)圖譜 249 
851知識(shí)圖譜嵌入249 
852知識(shí)圖譜補(bǔ)全251 
853知識(shí)圖譜構(gòu)建257 
854知識(shí)圖譜到文本生成263 
855知識(shí)圖譜問(wèn)答265 
86大規(guī)模語(yǔ)言模型和知識(shí)圖譜協(xié)同267 
861知識(shí)表示 267 
862知識(shí)推理 268 
87知識(shí)檢索增強(qiáng)大規(guī)模語(yǔ)言模型工程應(yīng)用268 
871結(jié)構(gòu)化數(shù)據(jù) 269 
872結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) 270 
873向量數(shù)據(jù)庫(kù) 272 
874 LangChain知識(shí)庫(kù)問(wèn)答276 
88未來(lái)的發(fā)展方向 279
第 9章多模態(tài)大規(guī)模語(yǔ)言模型技術(shù)應(yīng)用 281 
91多模態(tài)指令調(diào)節(jié) 285 
911模態(tài)對(duì)齊 286 
 
912數(shù)據(jù)收集 287 
913模態(tài)橋接 290 
914模型評(píng)估 292 
92多模態(tài)上下文學(xué)習(xí)296 
93多模態(tài)思維鏈 299 
931模態(tài)連接 299 
932學(xué)習(xí)范式 300 
933鏈的配置和形式 301 
94 LLM輔助視覺(jué)推理 301 
941訓(xùn)練范式 303 
942功能角色 305 
943模型評(píng)估 307 
95 LLM擴(kuò)展智能體 307 
951智能體308 
952記憶模塊 312 
953任務(wù)規(guī)劃 314 
954動(dòng)作模塊 317 
955評(píng)估策略 319 
96多模態(tài)語(yǔ)言模型挑戰(zhàn) 323 
961技術(shù)問(wèn)題 323 
962成本問(wèn)題 323 
963社會(huì)問(wèn)題 324
第 10章大規(guī)模語(yǔ)言模型應(yīng)用 326 
101法律領(lǐng)域 328 
1011法律提示研究329 
1012法律綜合評(píng)估332 
102教育領(lǐng)域 336 
1021能力評(píng)估 336 
1022倫理問(wèn)題 340 
1023問(wèn)答應(yīng)用 341 
103金融領(lǐng)域 342 
1031智能應(yīng)用場(chǎng)景346 
1032困難和挑戰(zhàn) 347 
104生物醫(yī)療 348 
1041潛力和價(jià)值 348 
1042應(yīng)用的場(chǎng)景 351 
1043困難和挑戰(zhàn) 355 
105代碼生成 356 
 
1051代碼生成問(wèn)題356 
1052代碼大規(guī)模語(yǔ)言模型357 
1053發(fā)展趨勢(shì) 361
第 11章展望和結(jié)論 363 
111局限和挑戰(zhàn) 363 
1111局限 363 
1112挑戰(zhàn) 364 
112方向和建議 365 
1121數(shù)據(jù)方面 365 
1122技術(shù)方面 365 
1123應(yīng)用方面 366 
1124方向建議 366 
113值得探索的研究 368 
1131基礎(chǔ)理論研究369 
1132高效計(jì)算研究370 
1133安全倫理研究371 
1134數(shù)據(jù)和評(píng)估研究 372 
1135認(rèn)知學(xué)習(xí)問(wèn)題373 
1136高效適配研究374
參考文獻(xiàn) 376