視覺語言交互中的視覺推理研究

定　價：￥49.00

作　者：	牛玉磊
出版社：	機械工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

當當網(wǎng) (￥36.70)

ISBN：	9787111723035	出版時間：	2023-03-01	包裝：	平裝-膠訂
開本：	32開	頁數(shù)：		字數(shù)：

內(nèi)容簡介

　　《視覺語言交互中的視覺推理研究》的作者牛玉磊博士于2020年在中國人民大學取得博士學會，后前往美國哥倫比亞大學開展博士后研究工作。本書從知識建模和知識推斷兩方面入手，深入研究了視覺語言交互任務(wù)中的視覺推理問題?！兑曈X語言交互中的視覺推理研究》共五章：第1章主要介紹了計算機視覺與自然語言處理交叉領(lǐng)域中交互類問題的研究背景，并分別從單輪交互、多輪交互、知識偏差三個角度選取了指稱語理解、視覺對話、視覺問答三個經(jīng)典任務(wù)展開討論。第2章主要介紹了單輪交互情形的代表性視覺推理任務(wù)，即指稱語理解問題，提出了變分背景框架，根據(jù)視覺圖像和指稱語文本的聯(lián)系及視覺物體之間的關(guān)系提取語義背景信息，并根據(jù)背景信息對指稱語進行定位。第3章介紹了多輪交互情形的代表性視覺推理任務(wù)，即視覺對話問題，提出了遞歸注意力機制，通過視覺指代消解的思想對圖像、對話和問題之間的聯(lián)系進行建模，優(yōu)化視覺表示。第4章介紹了知識偏差情形的代表性視覺推理任務(wù)，即視覺問答問題，基于因果推理提出了反事實視覺問答框架，在訓練環(huán)境和測試環(huán)境的答案分布不一致情況下，通過因果效應(yīng)的視角提取并去除語言偏差。第5章對本書進行了總結(jié)，并對未來研究方向進行了展望。

作者簡介

　　牛玉磊，美國哥倫比亞大學博士后，2015年和2020年于中國人民大學分別獲得學士與博士學位。研究方向包括計算機視覺、機器學習、因果推理、多模態(tài)學習等，在國際著名學術(shù)會議和期刊上發(fā)表論文20余篇。擔任BMVC 2022領(lǐng)域主席，AAAI 2023、IJCAI 2021高級程序委員會委員等學術(shù)職務(wù)。獲2021年度CCF優(yōu)秀博士學位論文獎、CVPR 2019視覺對話挑戰(zhàn)賽冠軍，被評為NeurIPS 2022、ICLR 2021、ICCV 2021的杰出審稿人。

圖書目錄

第1章引言
1.1 研究背景 1
1.2 研究現(xiàn)狀 5
1.2.1 指稱語理解 6
1.2.2 視覺對話 8
1.2.3 視覺問答 11
1.3 研究內(nèi)容與貢獻 14
1.4 組織結(jié)構(gòu) 17
第2章單輪交互情形下的指稱語理解
2.1 研究概述 20
2.2 相關(guān)工作 23
2.3 變分背景框架 26
2.3.1 問題表述 26
2.3.2 指稱語理解 29
2.3.3 指稱語生成 31
2.3.4 模型實現(xiàn) 32
2.4 實驗結(jié)果 40
2.4.1 實驗設(shè)置 40
2.4.2 指稱語理解實驗結(jié)果 44
2.4.3 指稱語生成實驗結(jié)果 55
2.5 小結(jié) 57
第3章多輪交互情形下的視覺對話
3.1 研究概述 60
3.2 相關(guān)工作 64
3.3 預備知識 66
3.4 遞歸視覺注意力模型 66
3.4.1 判別模塊 68
3.4.2 匹配模塊 69
3.4.3 注意力模塊 72
3.5 其他模塊 73
3.5.1 語言特征表示 73
3.5.2 視覺特征表示 75
3.5.3 特征優(yōu)化與融合 76
3.5.4 非線性映射 78
3.5.5 Gumbel離散采樣 79
3.6 實驗結(jié)果 80
3.6.1 實驗設(shè)置 80
3.6.2 實現(xiàn)細節(jié) 82
3.6.3 對比方法 82
3.6.4 實驗結(jié)果分析 85
3.7 小結(jié) 93
第4章知識偏差情形下的視覺問答
4.1 研究概述 96
4.2 相關(guān)工作 101
4.3 預備知識 104
4.3.1 因果圖 105
4.3.2 反事實表示 105
4.3.3 因果效應(yīng) 106
4.4 基于簡化因果圖的反事實視覺問答 107
4.4.1 反事實視覺問答框架 108
4.4.2 技術(shù)實現(xiàn) 110
4.5 基于完全因果圖的反事實視覺問答 115
4.5.1 反事實視覺問答框架 115
4.5.2 技術(shù)實現(xiàn) 116
4.6 實現(xiàn)細節(jié) 119
4.7 實驗結(jié)果 120
4.7.1 實驗設(shè)置 120
4.7.2 簡化因果圖實驗結(jié)果 122
4.7.3 完全因果圖實驗結(jié)果 134
4.8 小結(jié) 137
第5章總結(jié)與展望
5.1 創(chuàng)新總結(jié) 139
5.2 未來工作展望 141
5.2.1 視覺推理任務(wù) 142
5.2.2 知識建模 142
5.2.3 知識偏差 143