基于混合方法的自然語(yǔ)言處理：神經(jīng)網(wǎng)絡(luò)模型與知識(shí)圖譜的結(jié)合

推薦序一
推薦序二
譯者序
前言
第一部分　預(yù)備知識(shí)和構(gòu)建模塊
第1章　混合自然語(yǔ)言處理簡(jiǎn)介 2
1.1　知識(shí)圖譜、嵌入和語(yǔ)言模型簡(jiǎn)史 2
1.2　自然語(yǔ)言處理中知識(shí)圖譜和神經(jīng)網(wǎng)絡(luò)方法的結(jié)合 4
第2章　單詞、意義和知識(shí)圖譜嵌入 6
2.1　引言 6
2.2　分布式單詞表示 6
2.3　詞嵌入 7
2.4　意義和概念嵌入 8
2.5　知識(shí)圖譜嵌入 9
2.6　本章小結(jié) 13
第3章　理解詞嵌入和語(yǔ)言模型 14
3.1　引言 14
3.2　語(yǔ)言模型 15
3.2.1　統(tǒng)計(jì)語(yǔ)言模型 15
3.2.2　神經(jīng)語(yǔ)言模型 16
3.3　NLP遷移學(xué)習(xí)的預(yù)訓(xùn)練模型微調(diào) 16
3.3.1　ELMo 16
3.3.2　GPT 17
3.3.3　BERT 17
3.4　機(jī)器人檢測(cè)中預(yù)訓(xùn)練語(yǔ)言模型的微調(diào) 18
3.4.1　實(shí)驗(yàn)結(jié)果與討論 21
3.4.2　使用Transformer庫(kù)對(duì)BERT進(jìn)行微調(diào) 21
3.5　本章小結(jié) 27
第4章　從文本中捕獲意義作為詞嵌入 28
4.1　引言 28
4.2　下載一個(gè)小文本語(yǔ)料庫(kù) 29
4.3　一種學(xué)習(xí)詞嵌入的算法 29
4.4　使用Swivel prep生成共現(xiàn)矩陣 30
4.5　從共現(xiàn)矩陣中學(xué)習(xí)嵌入 31
4.6　讀取并檢查存儲(chǔ)的二進(jìn)制嵌入 32
4.7　練習(xí)：從古騰堡工程中創(chuàng)建詞嵌入 33
4.7.1　下載語(yǔ)料庫(kù)并進(jìn)行預(yù)處理 33
4.7.2　學(xué)習(xí)嵌入 34
4.7.3　檢查嵌入 34
4.8　本章小結(jié) 34
第5章　捕獲知識(shí)圖譜嵌入 35
5.1　引言 35
5.2　知識(shí)圖譜嵌入 35
5.3　為WordNet創(chuàng)建嵌入 37
5.3.1　選擇嵌入算法：HolE 37
5.3.2　將WordNet知識(shí)圖譜轉(zhuǎn)換為所需輸入 39
5.3.3　學(xué)習(xí)嵌入 44
5.3.4　檢查嵌入結(jié)果 44
5.4　練習(xí) 47
5.4.1　練習(xí)：在自己的知識(shí)圖譜上訓(xùn)練嵌入 47
5.4.2　練習(xí)：檢查WordNet 3.0的預(yù)計(jì)算嵌入 47
5.5　本章小結(jié) 48
第二部分　神經(jīng)網(wǎng)絡(luò)與知識(shí)圖譜的結(jié)合
第6章　從文本語(yǔ)料庫(kù)、知識(shí)圖譜和語(yǔ)言模型中構(gòu)建混合表達(dá) 50
6.1　引言 50
6.2　準(zhǔn)備工作和說(shuō)明 51
6.3　Vecsigrafo的概念及構(gòu)建方式 51
6.4　實(shí)現(xiàn) 53
6.5　訓(xùn)練Vecsigrafo 54
6.5.1　標(biāo)記化和詞義消歧 56
6.5.2　詞匯表和共現(xiàn)矩陣 58
6.5.3　從共現(xiàn)矩陣學(xué)習(xí)嵌入 62
6.5.4　檢查嵌入 64
6.6　練習(xí)：探索一個(gè)預(yù)先計(jì)算好的Vecsigrafo 66
6.7　從Vecsigrafo到Transigrafo 68
6.7.1　安裝設(shè)置 70
6.7.2　訓(xùn)練Transigrafo 71
6.7.3　擴(kuò)展知識(shí)圖譜的覆蓋范圍 73
6.7.4　評(píng)估 Transigrafo 73
6.7.5　檢查T(mén)ransigrafo中的義項(xiàng)嵌入 75
6.7.6　探索Transigrafo嵌入的穩(wěn)定性 77
6.7.7　額外的反思 81
6.8　本章小結(jié) 81
第7章　質(zhì)量評(píng)估 82
7.1　引言 82
7.2　評(píng)估方法的概述 83
7.3　練習(xí)1：評(píng)估單詞和概念嵌入 84
7.3.1　可視化探索 84
7.3.2　內(nèi)在評(píng)估 85
7.3.3　詞匯預(yù)測(cè)圖 87
7.3.4　外在評(píng)估 90
7.4　練習(xí)2：評(píng)價(jià)通過(guò)嵌入獲取的關(guān)系知識(shí) 90
7.4.1　下載embrela項(xiàng)目 91
7.4.2　下載生成的數(shù)據(jù)集 91
7.4.3　加載待評(píng)估的嵌入 92
7.4.4　學(xué)習(xí)模型 94
7.4.5　分析模型的結(jié)果 94
7.4.6　數(shù)據(jù)預(yù)處理：合并且增加字段 96
7.4.7　計(jì)算范圍閾值和偏差數(shù)據(jù)集檢測(cè) 97
7.4.8　發(fā)現(xiàn)統(tǒng)計(jì)上有意義的模型 99
7.4.9　關(guān)系型知識(shí)的評(píng)估結(jié)論 101
7.5　案例研究：評(píng)估和對(duì)比Vecsigrafo嵌入 101
7.5.1　比較研究 101
7.5.2　討論 111
7.6　本章小結(jié) 114
第8章　利用Vecsigrafo捕獲詞法、語(yǔ)法和語(yǔ)義信息 116
8.1　引言 116
8.2　方法 118
8.2.1　Vecsigrafo：基于語(yǔ)料的單詞–概念嵌入 118
8.2.2　聯(lián)合嵌入空間 119
8.2.3　嵌入的評(píng)估 119
8.3　評(píng)估 120
8.3.1　數(shù)據(jù)集 121
8.3.2　單詞相似度 121
8.3.3　類比推理 124
8.3.4　單詞預(yù)測(cè) 125
8.3.5　科學(xué)文檔的分類 127
8.4　討論 129
8.5　練習(xí)：使用surface form對(duì)科學(xué)文獻(xiàn)進(jìn)行分類 130
8.5.1　導(dǎo)入所需的庫(kù) 130
8.5.2　下載surface form的詞嵌入和SciGraph論文 131
8.5.3　讀取并準(zhǔn)備分類數(shù)據(jù)集 131
8.5.4　surface form的詞嵌入 133
8.5.5　創(chuàng)建嵌入層 134
8.5.6　訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò) 134
8.6　本章小結(jié) 136
第9章　知識(shí)圖譜的詞嵌入空間對(duì)齊與應(yīng)用 137
9.1　引言 137
9.2　概述及可能的應(yīng)用 138
9.2.1　知識(shí)圖譜的補(bǔ)全 139
9.2.2　超越多語(yǔ)言性：跨模態(tài)的詞嵌入 139
9.3　詞嵌入空間的對(duì)齊技術(shù) 140
9.3.1　線性對(duì)齊 140
9.3.2　非線性對(duì)齊 146
9.4　練習(xí)：尋找古代英語(yǔ)和現(xiàn)代英語(yǔ)的對(duì)應(yīng) 146
9.4.1　下載小型文本語(yǔ)料庫(kù) 146
9.4.2　學(xué)習(xí)基于老莎士比亞語(yǔ)料庫(kù)的Swivel詞嵌入 147
9.4.3　在WordNet之上加載UMBC的Vecsigrafo 149
9.4.4　練習(xí)的結(jié)論 149
9.5　本章小結(jié) 150
第三部分　應(yīng)用
第10章　一種虛假信息分析的混合方法 152
10.1　引言 152
10.2　虛假信息檢測(cè) 153
10.2.1　定義和背