Python語(yǔ)言數(shù)據(jù)分析

上篇 語(yǔ)言數(shù)據(jù)分析基礎(chǔ)
第1章 語(yǔ)言數(shù)據(jù)結(jié)構(gòu)
1.1 一維數(shù)據(jù)結(jié)構(gòu)
1.1.1 單詞列表
1.1.2 術(shù)語(yǔ)列表
1.1.3 句子列表
1.1.4 段落列表
1.1.5 語(yǔ)篇列表
1.1.6 其他一維數(shù)據(jù)結(jié)構(gòu)
1.2 二維數(shù)據(jù)結(jié)構(gòu)
1.2.1 字典結(jié)構(gòu)
1.2.2 元組列表結(jié)構(gòu)
1.2.3 二維數(shù)據(jù)的遍歷
1.3 多維數(shù)據(jù)結(jié)構(gòu)
1.3.1 元組字典結(jié)構(gòu)
1.3.2 列表元組列表結(jié)構(gòu)
1.3.3 Brown語(yǔ)料庫(kù)詞性標(biāo)記訓(xùn)練集
1.4 數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換
1.4.1 多連詞的轉(zhuǎn)換
1.4.2 矩陣結(jié)構(gòu)的轉(zhuǎn)換
1.4.3 spaCy列表到NLTK列表的轉(zhuǎn)換
第2章 語(yǔ)言數(shù)據(jù)清洗
2.1 Python數(shù)據(jù)清洗方法
2.1.1 無(wú)效字符清除方法
2.1.2 字符判斷方法
2.1.3 替換方法
2.1.4 標(biāo)點(diǎn)符號(hào)清除方法
2.1.5 停用詞方法
2.2 無(wú)效信息的清洗
2.2.1 何為無(wú)效信息
2.2.2 新聞文本的語(yǔ)言數(shù)據(jù)清洗
2.2.3 中文動(dòng)詞的清洗
2.3 有效信息的清洗
2.3.1 何為有效信息
2.3.2 英文動(dòng)詞詞組的清洗
2.3.3 詞形還原法
2.3.4 特征值清洗
第3章 語(yǔ)言數(shù)據(jù)可視化
3.1 數(shù)字結(jié)果可視化
3.1.1 語(yǔ)篇詞匯密度分布及其柱狀圖可視化
3.1.2 作業(yè)分?jǐn)?shù)統(tǒng)計(jì)及其正態(tài)分布擬合可視化
3.1.3 語(yǔ)篇詞長(zhǎng)分布及其折線圖可視化
3.1.4 信息貢獻(xiàn)度分布對(duì)比及其散點(diǎn)圖可視化
3.1.5 語(yǔ)篇長(zhǎng)句界定及其句長(zhǎng)分布可視化
3.2 文字結(jié)果可視化
3.2.1 詞匯相似性及其相關(guān)矩陣可視化
3.2.2 主題詞凸顯及其分布式可視化
3.2.3 評(píng)價(jià)語(yǔ)句的相似性及其聚類可視化
3.2.4 語(yǔ)篇語(yǔ)義分析及其語(yǔ)義網(wǎng)絡(luò)可視化
第4章 數(shù)據(jù)分析可選方法
4.1 Python+Excel應(yīng)用
4.1.1 長(zhǎng)句文字內(nèi)容和句長(zhǎng)分布
4.1.2 上下文關(guān)鍵詞呈現(xiàn)
4.1.3 多文本對(duì)比呈現(xiàn)
4.1.4 過(guò)程prdndas數(shù)據(jù)結(jié)構(gòu)呈現(xiàn)
4.2 正則表達(dá)式方法
4.2.1 概述
4.2.2 案例1——首字母為元音的單詞提取
4.2.3 案例2——主題詞L5R5搭配提取
4.3 文本分類方法
4.3.1 以關(guān)鍵詞實(shí)現(xiàn)大文本分類
4.3.2 以情感極性實(shí)現(xiàn)小文本分類
4.3.3 樸素貝葉斯分類法
4.4 語(yǔ)言數(shù)據(jù)檢驗(yàn)
下篇 語(yǔ)言數(shù)據(jù)分析理論與應(yīng)用
第5章 短語(yǔ)學(xué)及其計(jì)算語(yǔ)言學(xué)方法
5.1 短語(yǔ)學(xué)與計(jì)算語(yǔ)言學(xué)
5.1.1 語(yǔ)料庫(kù)與短語(yǔ)學(xué)
5.1.2 計(jì)算語(yǔ)言學(xué)
5.1.3 基于意義單位的研究
5.1.4 短語(yǔ)學(xué)技術(shù)應(yīng)用
5.2 短語(yǔ)數(shù)據(jù)處理工具
5.2.1 全額提取方法
5.2.2 分類提取方法
5.3 短語(yǔ)學(xué)分析路徑
5.3.1 學(xué)術(shù)文本模糊短語(yǔ)的弱化表述手段
5.3.2 話語(yǔ)分析及其ngrms()短語(yǔ)數(shù)據(jù)清洗
5.3.3 多詞術(shù)語(yǔ)的結(jié)構(gòu)語(yǔ)義消歧
第6章 情感分析理論、方法與路徑
6.1 情感分析與接受度定位
6.1.1 情感與情感分析
6.1.2 國(guó)際關(guān)系領(lǐng)域
6.1.3 市場(chǎng)營(yíng)銷領(lǐng)域
6.1.4 教育領(lǐng)域
6.1.5 應(yīng)用與不足
6.2 情感分析工具
6.2.1 中文類工具
6.2.2 英文類工具
6.2.3 混合類工具——樸素貝葉斯分類法
6.3 情感分析路徑
6.3.1 情感分析與傳統(tǒng)民意調(diào)查比較
6.3.2 基于文本情感分析的商品評(píng)價(jià)
6.3.3 樸素貝葉斯分類法與情感分析
6.3.4 擇校行為影響因素與情感分類
第7章 相似性度量理論與應(yīng)用
7.1 相似性度量與文本分析
7.1.1 基于語(yǔ)義信息的相似性
7.1.2 三個(gè)層級(jí)的度量路徑
7.1.3 文本數(shù)據(jù)和知識(shí)庫(kù)
7.2 相似性度量工具
7.2.1 詞匯相似性度量
7.2.2 句子相似性度量
7.2.3 語(yǔ)篇相似性度量
7.3 文本相似性分析路徑
7.3.1 多譯本相似性度量
7.3.2 著作權(quán)法／版權(quán)法概念copyright及其搭配的相似性
7.3.3 語(yǔ)料庫(kù)的平衡性問(wèn)題
第8章 語(yǔ)義分析與文本探究
8.1 語(yǔ)義分析與相關(guān)模型
8.1.1 語(yǔ)義遷移與分布式詞向量
8.1.2 語(yǔ)義主題詞與信息貢獻(xiàn)度
8.1.3 語(yǔ)義關(guān)系與語(yǔ)義網(wǎng)
8.1.4 文本語(yǔ)義與語(yǔ)義網(wǎng)絡(luò)分析
8.2 語(yǔ)義分析工具
8.2.1 詞向量(詞嵌入)模型
8.2.2 語(yǔ)義網(wǎng)資源
8.2.3 spaCy方法
8.2.4 向量模型
8.3 文本語(yǔ)義分析路徑
8.3.1 著作權(quán)法／版權(quán)法概念copyright詞向量關(guān)聯(lián)性
8.3.2 語(yǔ)義遷移描述與代碼融合
8.3.3 漢英法律語(yǔ)義檢索詞典構(gòu)建
第9章 主題建模與文本主題
9.1 主題建模中的主題挖掘
9.1.1 語(yǔ)料庫(kù)主題概述
9.1.2 主題建模方法論啟示
9.1.3 歷時(shí)性文本主題
9.1.4 共時(shí)性文本主題
9.1.5 討論與總結(jié)
9.2 主題建模工具
9.2.1 Gensim主題建模方法
9.2.2 Sklearn主題建模方法
9.2.3 中文主題模型方法
9.3 主題建模實(shí)現(xiàn)路徑
9.3.1 話語(yǔ)分析中