123,123

內(nèi)容簡(jiǎn)介

　　文本語(yǔ)義向量化表示是指將自然語(yǔ)言編碼為計(jì)算機(jī)可處理的、蘊(yùn)含語(yǔ)義特征的向量的過(guò)程。在人工智能領(lǐng)域中，語(yǔ)義表示學(xué)習(xí)是實(shí)現(xiàn)機(jī)器理解自然語(yǔ)言的第一步，是機(jī)器處理文本數(shù)據(jù)和完成各種自然語(yǔ)言處理任務(wù)的基礎(chǔ)，其性能的優(yōu)劣直接影響下游任務(wù)的效果。因此，語(yǔ)義表示學(xué)習(xí)具有重要的研究意義和實(shí)用價(jià)值。本文梳理了文本語(yǔ)義向量化表示的基礎(chǔ)理論，詳細(xì)介紹了分布式表示方式、融合知識(shí)表示方法、任務(wù)導(dǎo)向的表示方法和預(yù)訓(xùn)練語(yǔ)言模型等典型方法，并以機(jī)器閱讀理解任務(wù)為例，介紹了文本語(yǔ)義向量化表示在自然語(yǔ)言處理領(lǐng)域的實(shí)際應(yīng)用。最后本文對(duì)文本語(yǔ)言向量化表示進(jìn)行了總結(jié)和未來(lái)研究方向展望。

作者簡(jiǎn)介

　　黃河燕，1963年10月生，籍貫湖南。1986年1月加入中國(guó)共產(chǎn)黨，1989年3月參加工作。1983年畢業(yè)于武漢測(cè)繪科技大學(xué)計(jì)算機(jī)系獲學(xué)士學(xué)位，1986年畢業(yè)于國(guó)防科技大學(xué)計(jì)算機(jī)系獲碩士學(xué)位，1989年畢業(yè)于中國(guó)科學(xué)院計(jì)算技術(shù)研究所獲博士學(xué)位，后留所工作，先后任助理研究員、副研究員、研究員；1997年至2009年在中科院計(jì)算機(jī)語(yǔ)言信息工程研究中心任副主任、研究員并先后兼任中科院華建集團(tuán)黨委委員、副書記，2009年至今任北京理工大學(xué)計(jì)算機(jī)學(xué)院院長(zhǎng)、教授，兼北京市海量語(yǔ)言信息處理與云計(jì)算應(yīng)用工程技術(shù)研究中心主任及中-德語(yǔ)言信息處理聯(lián)合實(shí)驗(yàn)室主任；現(xiàn)為國(guó)家\

圖書目錄

第1章緒論\t1
1．1 研究背景及意義\t1
1．2 基本定義及問(wèn)題描述\t3
第2章語(yǔ)義表示學(xué)習(xí)的基礎(chǔ)信息\t6
2．1 發(fā)展歷史\t6
2．2 實(shí)際應(yīng)用\t8
第3章分布表示方法\t12
3．1 概述\t12
3．2 基于矩陣分解的方法\t15
3．3 基于神經(jīng)網(wǎng)絡(luò)的方法\t19
3．4 方法總結(jié)與對(duì)比\t26
第4章預(yù)訓(xùn)練語(yǔ)言模型\t27
4．1 ELMo模型\t27
4．2 GPT模型\t28
4．3 BERT模型\t29
4．4 RoBERTa模型\t31
4．5 XLNet模型\t32
4．6 方法總結(jié)與對(duì)比\t33
第5章增強(qiáng)關(guān)聯(lián)模式的語(yǔ)義表示方法\t35
5．1 引言\t35
5．2 相關(guān)工作\t37
5．3 預(yù)備知識(shí)\t39
5．3．1 基于上下文信息的語(yǔ)義表示模型\t39
5．3．2 關(guān)聯(lián)模式挖掘\t40
5．4 增強(qiáng)關(guān)聯(lián)模式的語(yǔ)義表示模型\t41
5．4．1 基于CBOW的APWE模型\t42
5．4．2 基于Skip-gram的APWE模型\t43
5．5 實(shí)驗(yàn)\t44
5．5．1 對(duì)比方法\t45
5．5．2 實(shí)驗(yàn)I：文本分類\t45
5．5．3 實(shí)驗(yàn)II：查詢?cè)~擴(kuò)展\t48
5．5．4 參數(shù)分析\t51
5．5．5 實(shí)例分析\t52
5．6 本章小結(jié)\t53
第6章基于知識(shí)的語(yǔ)義向量化表示\t55
6．1 引言\t55
6．2 相關(guān)工作\t57
6．2．1 知識(shí)庫(kù)表示\t57
6．2．2 知識(shí)與文本聯(lián)合表示\t59
6．3 基于語(yǔ)義結(jié)構(gòu)的語(yǔ)義表示模型\t60
6．3．1 語(yǔ)義結(jié)構(gòu)定義\t60
6．3．2 SENSE模型\t61
6．4 實(shí)驗(yàn)\t63
6．4．1 對(duì)比方法\t64
6．4．2 參數(shù)設(shè)置\t65
6．4．3 任務(wù)I：詞相似度測(cè)量\t66
6．4．4 任務(wù)II：詞匯類比推理\t67
6．4．5 任務(wù)III：文本分類\t69
6．4．6 任務(wù)IV：查詢?cè)~擴(kuò)展\t71
6．5 本章小結(jié)\t73
第7章文本分類中任務(wù)導(dǎo)向的語(yǔ)義表示方法\t74
7．1 引言\t74
7．2 相關(guān)工作\t76
7．3 任務(wù)導(dǎo)向的語(yǔ)義表示模型\t78
7．3．1 語(yǔ)義特征表示\t78
7．3．2 任務(wù)特征表示\t78
7．3．3 聯(lián)合表示模型及優(yōu)化\t80
7．4 實(shí)驗(yàn)\t80
7．4．1 數(shù)據(jù)集\t80
7．4．2 對(duì)比方法\t82
7．4．3 實(shí)驗(yàn)參數(shù)設(shè)置\t82
7．4．4 整體評(píng)測(cè)效果\t84
7．5 實(shí)例分析\t87
7．6 本章小結(jié)\t89
第8章文本語(yǔ)義向量化表示在機(jī)器閱讀理解任務(wù)中的應(yīng)用\t90
8．1 引言\t90
8．2 機(jī)器閱讀理解\t93
8．3 機(jī)器閱讀理解基礎(chǔ)方法\t95
8．4 多粒度語(yǔ)義匹配的MGRC模型\t96
8．4．1 多粒度語(yǔ)義表示\t96
8．4．2 多粒度語(yǔ)義匹配\t99
8．4．3 聯(lián)合模型及其優(yōu)化\t103
8．5 實(shí)驗(yàn)\t103
8．5．1 數(shù)據(jù)集\t104
8．5．2 評(píng)測(cè)指標(biāo)及對(duì)比方法\t105
8．5．3 整體性能評(píng)測(cè)\t106
8．5．4 參數(shù)分析\t109
8．5．5 模塊有效性驗(yàn)證\t109
8．5．6 實(shí)例分析\t113
8．6 本章小結(jié)\t115
第9章總結(jié)與展望\t116
9．1 本書總結(jié)\t116
9．2 未來(lái)研究方向展望\t117
參考文獻(xiàn)\t119