基于NLP的內(nèi)容理解

CONTENTS
目　　錄
前言
第1章　文本特征表示　1
1.1　語料與語料預(yù)處理　1
1.1.1　語料和語料庫　1
1.1.2　語料預(yù)處理　2
1.2　文本特征表示方法　6
1.2.1　離散型特征表示方法　6
1.2.2　分布型特征表示方法　13
1.3　詞向量的評判標(biāo)準(zhǔn)　29
1.3.1　內(nèi)部評估　29
1.3.2　外在評估　31
1.4　本章小結(jié)　34
第2章　內(nèi)容重復(fù)理解　35
2.1　標(biāo)題重復(fù)　35
2.1.1　標(biāo)題符號規(guī)整化處理　36
2.1.2　Jieba分詞　39
2.1.3　LAC分詞　43
2.1.4　基于分詞及字符串等
方式進(jìn)行重復(fù)識(shí)別　45
2.2　段落重復(fù)識(shí)別實(shí)例　47
2.2.1　段落重復(fù)識(shí)別　47
2.2.2　基于N-gram算法進(jìn)行
內(nèi)容去重　48
2.2.3　平滑處理技術(shù)　54
2.3　基于相似度計(jì)算的文章判重　57
2.3.1　文本相似度計(jì)算任務(wù)
的分析　57
2.3.2　距離度量方式　58
2.3.3　基于SimHash算法進(jìn)行
文本重復(fù)檢測　62
2.4　本章小結(jié)　66
第3章　內(nèi)容通順度識(shí)別及糾正　67
3.1　數(shù)據(jù)增強(qiáng)　67
3.2　基于FastText算法的句子
通順度識(shí)別　73
3.2.1　CBOW模型　74
3.2.2　FastText算法原理　75
3.2.3　FastText算法實(shí)戰(zhàn)　81
3.3　基于TextCNN算法的分類
任務(wù)實(shí)現(xiàn)　93
3.3.1　專有名詞簡介　93
3.3.2　算法介紹　94
3.3.3　參數(shù)調(diào)優(yōu)經(jīng)驗(yàn)總結(jié)　96
3.3.4　基于Keras工具實(shí)現(xiàn)TextCNN算法　96
3.4　基于TextRNN算法的分類
任務(wù)實(shí)現(xiàn)　98
3.4.1　LSTM和BiLSTM　98
3.4.2　TextCNN和TextRNN
識(shí)別效果對比　105
3.5　基于Seq2Seq模型的
糾正策略　106
3.5.1　Seq2Seq模型原理　106
3.5.2　糾正不通順句子的方法　108
3.6　本章小結(jié)　114
第4章　內(nèi)容質(zhì)量　116
4.1　GBDT算法　116
4.1.1　GBDT算法概述　117
4.1.2　負(fù)梯度擬合　117
4.1.3　GBDT回歸算法　118
4.1.4　GBDT分類算法　119
4.2　XGBoost算法　121
4.2.1　從GBDT到XGBoost　121
4.2.2　XGBoost損失函數(shù)　122
4.2.3　XGBoost損失函數(shù)的
優(yōu)化求解　124
4.2.4　XGBoost算法流程　125
4.2.5　XGBoost算法參數(shù)
及調(diào)優(yōu)　127
4.3　知識(shí)問答質(zhì)量體系的搭建　129
4.3.1　知識(shí)問答質(zhì)量體系
建立的意義　130
4.3.2　整體的項(xiàng)目實(shí)施方案　130
4.3.3　知識(shí)問答質(zhì)量體系
搭建流程　133
4.4　本章小結(jié)　142
第5章　標(biāo)簽體系構(gòu)建　143
5.1　標(biāo)簽體系　143
5.1.1　標(biāo)簽體系的重要性　143
5.1.2　標(biāo)簽體系的分類　144
5.1.3　構(gòu)建標(biāo)簽體系　146
5.2　TF-IDF算法　151
5.2.1　TF-IDF算法介紹　151
5.2.2　TF-IDF算法實(shí)現(xiàn)　152
5.3　PageRank算法　155
5.4　TextRank算法　163
5.4.1　TextRank算法的使用
場景　164
5.4.2　TextRank算法的
優(yōu)缺點(diǎn)　168
5.5　本章小結(jié)　168
第6章 　文本摘要生成　169
6.1　文本摘要相關(guān)介紹　169
6.1.1　文本摘要問題定義　169
6.1.2　文本摘要分類　170
6.1.3　文本摘要的技術(shù)和方法　170
6.2　基于無監(jiān)督的抽取式文本摘要　172
6.2.1　基于經(jīng)驗(yàn)的文本摘要　173
6.2.2　基于主題模型的
文本摘要　175
6.2.3　基于圖的文本摘要　182
6.2.4　基于特征評分的
文本摘要　185
6.2.5　基于聚類的文本摘要　188
6.3　基于有監(jiān)督的抽取式文本摘要　191
6.4　基于深度神經(jīng)網(wǎng)絡(luò)的生成式
文本摘要　201
6.5　文本摘要常用數(shù)據(jù)集　210
6.6　文本摘要評價(jià)方法　211
6.6.1　自動(dòng)評價(jià)方法　211
6.6.2　人工評價(jià)方法　213
6.7　本章小結(jié)　213
第7章　文本糾錯(cuò)　214
7.1　錯(cuò)誤來源及類型　214
7.2　文本糾錯(cuò)的3種傳統(tǒng)方法　215
7.2.1　模板匹配　215
7.2.2　編輯距離匹配　216
7.2.3　HANSpeller++框架　217
7.3　文本糾錯(cuò)深度學(xué)習(xí)方法　220
7.3.1　英文文本糾錯(cuò)方法　220
7.3.2　中文文本糾錯(cuò)方法　224
7.4　工業(yè)界解決方法　233
7.4.1　3階段級聯(lián)的糾錯(cuò)方案　234
7.4.2　符合多種場景的通用
糾錯(cuò)方案　236
7.4.3　保險(xiǎn)文本的糾錯(cuò)方案　237
7.5　文本糾錯(cuò)工具　239
7.5.1　pycorrector　239
7.5.2　xmnlp　240
7.6　本章小結(jié)　242