多模態(tài)大模型：新一代人工智能技術(shù)范式

1 大模型全家桶 1
1.1 多模態(tài)大模型基本概念 3
1.1.1 多模態(tài) 4
1.1.2 大模型和基礎(chǔ)模型 4
1.1.3 多模態(tài)大模型 5
1.2 BERT技術(shù)詳解 6
1.2.1 模型結(jié)構(gòu) 6
1.2.2 預(yù)訓(xùn)練任務(wù) 10
1.2.3 下游應(yīng)用場景 13
1.3 ViT技術(shù)詳解 14
1.3.1 模型結(jié)構(gòu) 15
1.3.2 預(yù)訓(xùn)練任務(wù) 17
1.4 GPT系列 19
1.4.1 GPT-1結(jié)構(gòu)詳解 20
1.4.2 GPT-2結(jié)構(gòu)詳解 23
1.4.3 GPT-3結(jié)構(gòu)詳解 24
1.5 ChatGPT簡介 28
1.5.1 InstructGPT 28
1.5.2 ChatGPT 32
1.5.3 多模態(tài)GPT-4V 37
1.6 中英雙語對話機(jī)器人ChatGLM 40
1.6.1 ChatGLM-6B模型 41
1.6.2 千億基座模型GLM-130B的結(jié)構(gòu) 43
1.7 百川大模型 46
1.7.1 預(yù)訓(xùn)練 47
1.7.2 對齊 51
1.8 本章小結(jié) 53
2 多模態(tài)大模型核心技術(shù) 54
2.1 預(yù)訓(xùn)練基礎(chǔ)模型 55
2.1.1 基本結(jié)構(gòu) 56
2.1.2 學(xué)習(xí)機(jī)制 57
2.2 預(yù)訓(xùn)練任務(wù)概述 59
2.2.1 自然語言處理領(lǐng)域的預(yù)訓(xùn)練任務(wù) 59
2.2.2 計(jì)算機(jī)視覺領(lǐng)域的預(yù)訓(xùn)練任務(wù) 59
2.3 基于自然語言處理的預(yù)訓(xùn)練關(guān)鍵技術(shù) 60
2.3.1 單詞表征方法 61
2.3.2 模型結(jié)構(gòu)設(shè)計(jì)方法 63
2.3.3 掩碼設(shè)計(jì)方法 63
2.3.4 提升方法 64
2.3.5 指令對齊方法 65
2.4 基于計(jì)算機(jī)視覺的預(yù)訓(xùn)練關(guān)鍵技術(shù) 67
2.4.1 特定代理任務(wù)的學(xué)習(xí) 68
2.4.2 幀序列學(xué)習(xí) 68
2.4.3 生成式學(xué)習(xí) 69
2.4.4 重建式學(xué)習(xí) 70
2.4.5 記憶池式學(xué)習(xí) 71
2.4.6 共享式學(xué)習(xí) 72
2.4.7 聚類式學(xué)習(xí) 74
2.5 提示學(xué)習(xí) 75
2.5.1 提示的定義 76
2.5.2 提示模板工程 78
2.5.3 提示答案工程 81
2.5.4 多提示學(xué)習(xí)方法 82
2.6 上下文學(xué)習(xí) 85
2.6.1 上下文學(xué)習(xí)的定義 86
2.6.2 模型預(yù)熱 86
2.6.3 演示設(shè)計(jì) 88
2.6.4 評分函數(shù) 90
2.7 微調(diào) 91
2.7.1 適配器微調(diào) 92
2.7.2 任務(wù)導(dǎo)向微調(diào) 95
2.8 思維鏈 98
2.8.1 思維鏈的技術(shù)細(xì)節(jié) 99
2.8.2 基于自洽性的思維鏈 100
2.8.3 思維樹 103
2.8.4 思維圖 106
2.9 RLHF 110
2.9.1 RLHF技術(shù)分解 111
2.9.2 RLHF開源工具集 114
2.9.3 RLHF的未來挑戰(zhàn) 115
2.10 RLAIF 115
2.10.1 LLM的偏好標(biāo)簽化 116
2.10.2 關(guān)鍵技術(shù)路線 118
2.10.3 評測118
2.11 本章小結(jié)119
3 多模態(tài)基礎(chǔ)模型 120
3.1 CLIP 122
3.1.1 創(chuàng)建足夠大的數(shù)據(jù)集 122
3.1.2 選擇有效的預(yù)訓(xùn)練方法 123
3.1.3 選擇和擴(kuò)展模型 124
3.1.4 預(yù)訓(xùn)練 124
3.2 BLIP 125
3.2.1 模型結(jié)構(gòu) 125
3.2.2 預(yù)訓(xùn)練目標(biāo)函數(shù) 126
3.2.3 標(biāo)注過濾 127
3.3 BLIP-2 128
3.3.1 模型結(jié)構(gòu) 129
3.3.2 使用凍結(jié)的圖像編碼器進(jìn)行視覺與語言表示學(xué)習(xí) 129
3.3.3 使用凍結(jié)的LLM進(jìn)行從視覺到語言的生成學(xué)習(xí) 130
3.3.4 模型預(yù)訓(xùn)練 131
3.4 LLaMA 132
3.4.1 預(yù)訓(xùn)練數(shù)據(jù) 132
3.4.2 網(wǎng)絡(luò)結(jié)構(gòu) 133
3.4.3 優(yōu)化器 134
3.4.4 高效實(shí)現(xiàn) 134
3.5 LLaMA-Adapter 134
3.5.1 LLaMA-Adapter的技術(shù)細(xì)節(jié) 136
3.5.2 LLaMA-Adapter V2 137
3.6 VideoChat 140
3.6.1 VideoChat-Text 142
3.6.2 VideoChat-Embed 143
3.7 SAM 146
3.7.1 SAM任務(wù) 149
3.7.2 SAM的視覺模型結(jié)構(gòu) 150
3.7.3 SAM的數(shù)據(jù)引擎 151
3.7.4 SAM的數(shù)據(jù)集 152
3.8 PaLM-E 153
3.8.1 模型結(jié)構(gòu)155
3.8.2 不同傳感器模態(tài)的輸入與場景表示 157
3.8.3 訓(xùn)練策略 158
3.9 本章小結(jié) 159
4 多模態(tài)大模型的應(yīng)用 160
4.1 視覺問答 160
4.1.1 視覺問答的類型 161
4.1.2 圖像問答 162
4.1.3 視頻問答 179
4.1.4 未來研究方向 190
4.2 AIGC 191
4.2.1 GAN和擴(kuò)散模型 192
4.2.2 文本生成 194
4.2.3 圖像生成 198
4.2.4 視頻生成 203
4.2.5 三維數(shù)據(jù)生成 204
4.2.6 HCP-Diffusion統(tǒng)一代碼框架 204
4.2.7 挑戰(zhàn)與展望 209
4.3 具身智能 209
4.3.1 具身智能的概念 210
4.3.2 具身智能模擬器 212
4.3.3 視覺探索 216
4.3.4 視覺導(dǎo)航 219
4.3.5 具身問答 223
4.3.6 具身交互 225
4.3.7 存在的挑戰(zhàn) 228
4.4 本章小結(jié) 231
5 多模態(tài)大模型邁向AGI 232
5.1 研究挑戰(zhàn) 233
5.1.1 缺乏評估準(zhǔn)則 233
5.1.2 模型設(shè)計(jì)準(zhǔn)則模糊 233
5.1.3 多模態(tài)對齊不佳 234
5.1.4 領(lǐng)域?qū)I(yè)化不足 234
5.1.5 幻覺問題 236
5.1.6 魯棒性威脅 236
5.1.7 可信性問題 238
5.1.8 可解釋性和推理能力問題 242
5.2 因果推理 246
5.2.1 因果推理的基本概念 247
5.2.2 因果的類型 251
5.2.3 LLM的因果推理能力 252
5.2.4 LLM和因果發(fā)現(xiàn)的關(guān)系 254
5.2.5 多模態(tài)因果開源框架CausalVLR 255
5.3 世界模型 257
5.3.1 世界模型的概念 258
5.3.2 聯(lián)合嵌入預(yù)測結(jié)構(gòu) 261
5.3.3 Dynalang：利用語言預(yù)測未來 264
5.3.4 交互式現(xiàn)實(shí)世界模擬器 266
5.3.5 Sora：模擬世界的視頻生成模型 267
5.4 超級智能體AGI Agent 271
5.4.1 Agent的定義 272
5.4.2 Agent的核心組件 274
5.4.3 典型的AGI Agent模型 275
5.4.4 AGI Agent的未來展望 284
5.5 基于Agent的具身智能 286
5.5.1 具身決策評測集 287
5.5.2 具身知識與世界模型嵌入 288
5.5.3 具身機(jī)器人任務(wù)規(guī)劃與控制 289
5.6 本章小結(jié) 296