視覺語言交互中的視覺推理研究

第1章 引言
1.1 研究背景 1
1.2 研究現(xiàn)狀 5
1.2.1 指稱語理解 6
1.2.2 視覺對話 8
1.2.3 視覺問答 11
1.3 研究內(nèi)容與貢獻(xiàn) 14
1.4 組織結(jié)構(gòu) 17
第2章 單輪交互情形下的指稱語理解
2.1 研究概述 20
2.2 相關(guān)工作 23
2.3 變分背景框架 26
2.3.1 問題表述 26
2.3.2 指稱語理解 29
2.3.3 指稱語生成 31
2.3.4 模型實(shí)現(xiàn) 32
2.4 實(shí)驗(yàn)結(jié)果 40
2.4.1 實(shí)驗(yàn)設(shè)置 40
2.4.2 指稱語理解實(shí)驗(yàn)結(jié)果 44
2.4.3 指稱語生成實(shí)驗(yàn)結(jié)果 55
2.5 小結(jié) 57
第3章 多輪交互情形下的視覺對話
3.1 研究概述 60
3.2 相關(guān)工作 64
3.3 預(yù)備知識 66
3.4 遞歸視覺注意力模型 66
3.4.1 判別模塊 68
3.4.2 匹配模塊 69
3.4.3 注意力模塊 72
3.5 其他模塊 73
3.5.1 語言特征表示 73
3.5.2 視覺特征表示 75
3.5.3 特征優(yōu)化與融合 76
3.5.4 非線性映射 78
3.5.5 Gumbel離散采樣 79
3.6 實(shí)驗(yàn)結(jié)果 80
3.6.1 實(shí)驗(yàn)設(shè)置 80
3.6.2 實(shí)現(xiàn)細(xì)節(jié) 82
3.6.3 對比方法 82
3.6.4 實(shí)驗(yàn)結(jié)果分析 85
3.7 小結(jié) 93
第4章 知識偏差情形下的視覺問答
4.1 研究概述 96
4.2 相關(guān)工作 101
4.3 預(yù)備知識 104
4.3.1 因果圖 105
4.3.2 反事實(shí)表示 105
4.3.3 因果效應(yīng) 106
4.4 基于簡化因果圖的反事實(shí)視覺問答 107
4.4.1 反事實(shí)視覺問答框架 108
4.4.2 技術(shù)實(shí)現(xiàn) 110
4.5 基于完全因果圖的反事實(shí)視覺問答 115
4.5.1 反事實(shí)視覺問答框架 115
4.5.2 技術(shù)實(shí)現(xiàn) 116
4.6 實(shí)現(xiàn)細(xì)節(jié) 119
4.7 實(shí)驗(yàn)結(jié)果 120
4.7.1 實(shí)驗(yàn)設(shè)置 120
4.7.2 簡化因果圖實(shí)驗(yàn)結(jié)果 122
4.7.3 完全因果圖實(shí)驗(yàn)結(jié)果 134
4.8 小結(jié) 137
第5章 總結(jié)與展望
5.1 創(chuàng)新總結(jié) 139
5.2 未來工作展望 141
5.2.1 視覺推理任務(wù) 142
5.2.2 知識建模 142
5.2.3 知識偏差 143