統(tǒng)計(jì)語言學(xué)

第1章概論 1.1統(tǒng)計(jì)語言學(xué) 1.2統(tǒng)計(jì)語言學(xué)與其他學(xué)科 1.2.1計(jì)量語言學(xué) 1.2.2計(jì)算語言學(xué) 1.2.3語料庫語言學(xué) 1.2.4與三個(gè)學(xué)科的聯(lián)系與區(qū)別 1.3使用統(tǒng)計(jì)方法研究的語言特征 1.4統(tǒng)計(jì)語言學(xué)基本研究方法 1.5統(tǒng)計(jì)語言學(xué)研究的步驟 1.6統(tǒng)計(jì)的語言學(xué)應(yīng)用 第2章語料庫 2.1語料庫的定義 2.2語料庫的類型 2.2.1口語語料庫與書面語語料庫 2.2.2單語語料庫、雙語語料庫與多語語料庫 2.2.3通用語料庫與專用語料庫 2.2.4共時(shí)語料庫與歷時(shí)語料庫 2.2.5動(dòng)態(tài)語料庫與靜態(tài)語料庫 2.2.6同質(zhì)語料庫與異質(zhì)語料庫 2.2.7生語料庫與標(biāo)注語料庫 2.3國內(nèi)外主要語料庫 2.3.1國外的語料庫 2.3.2國內(nèi)的語料庫 2.4本章小結(jié) 第3章統(tǒng)計(jì)在語言研究中的基本應(yīng)用 3.1統(tǒng)計(jì)學(xué)的基本概念 3.1.1總體、個(gè)體、樣本 3.1.2參數(shù)與統(tǒng)計(jì)量 3.1.3常量、變量 3.1.4實(shí)際值與觀測值 3.2平均數(shù) 3.2.1簡單算術(shù)平均數(shù) 3.2.2加權(quán)算術(shù)平均數(shù) 3.3方差與標(biāo)準(zhǔn)差 3.3.1未分組數(shù)據(jù)的方差與標(biāo)準(zhǔn)差 3.3.2分組數(shù)據(jù)的方差與標(biāo)準(zhǔn)差 3.4頻度、頻率、概率、條件概率、貝葉斯定理 3.4.1概率論中的常用概念 3.4.2概率 3.4.3獨(dú)立性 3.4.4貝葉斯定理 3.4.5頻度與頻率 3.5互信息 3.6 Z評分 3.7Dice系數(shù) 3.8Phi平方系數(shù)(Φ2) 3.9對數(shù)似然比 3.10N元模型 3.10.1N元語法 3.10.2N元語法模型 3.11語言學(xué)三大統(tǒng)計(jì)規(guī)律 3.11.1Zipf法則 3.11.2MenzerathAltmann定律 3.11.3PiotrowskiAltmann定律 3.12熵 3.12.1靜態(tài)平均信息熵 3.12.2極限熵 3.13Yule 圖 3.14Fuchs公式 3.15使用度與通用度 3.15.1使用度 3.15.2通用度 3.16本章小結(jié) 第4章假設(shè)檢驗(yàn) 4.1假設(shè)檢驗(yàn)的相關(guān)概念 4.1.1假設(shè)檢驗(yàn)的基本原理 4.1.2假設(shè)的分類 4.1.3檢驗(yàn)統(tǒng)計(jì)量與臨界值 4.1.4雙尾檢驗(yàn)與單尾檢驗(yàn) 4.1.5假設(shè)檢驗(yàn)的一般步驟 4.1.6假設(shè)檢驗(yàn)中的兩類錯(cuò)誤 4.2參數(shù)假設(shè)檢驗(yàn) 4.2.1正態(tài)分布 4.2.2U檢驗(yàn) 4.2.3t檢驗(yàn) 4.2.4χ2檢驗(yàn) 4.2.5F檢驗(yàn) 4.2.6參數(shù)假設(shè)檢驗(yàn)比較 4.3非參數(shù)假設(shè)檢驗(yàn) 4.3.1χ2檢驗(yàn) 4.3.2秩和檢驗(yàn) 4.3.3非參數(shù)假設(shè)檢驗(yàn)比較 4.4本章小結(jié) 第5章方差分析 5.1方差分析的定義及基本思想 5.1.1方差分析的定義 5.1.2方差分析的基本思想 5.2方差分析的基本概念和使用條件 5.2.1方差分析中的基本概念 5.2.2使用方差分析的條件 5.3方差分析的類型和一般步驟 5.3.1方差分析的類型 5.3.2方差分析的一般步驟 5.4單因素方差分析 5.4.1各個(gè)因素水平間的樣本容量相同 5.4.2各個(gè)因素水平間的樣本容量不完全相同 5.4.3方差分析中的多重比較 5.5雙因素方差分析 5.5.1無重復(fù)雙因素方差分析 5.5.2可重復(fù)雙因素方差分析 5.6本章小結(jié) 第6章文本聚類 6.1文本聚類概述 6.1.1文本聚類定義 6.1.2文本聚類的流程 6.2文本聚類中的數(shù)據(jù) 6.2.1聚類分析中使用的數(shù)據(jù)結(jié)構(gòu) 6.2.2數(shù)據(jù)歸一化處理 6.3相似度計(jì)算 6.3.1文本相似度的計(jì)算 6.3.2特征相似度的計(jì)算 6.4聚類算法 6.4.1層次聚類 6.4.2劃分聚類 6.4.3劃分聚類與層次聚類的聯(lián)系和區(qū)別 6.5文本聚類性能評價(jià) 6.5.1純度 6.5.2歸一化互信息 6.5.3精確度 6.5.4F值 6.6本章小結(jié) 第7章文本分類 7.1文本分類的定義 7.2分類方法 7.2.1基于知識工程的方法 7.2.2基于機(jī)器學(xué)習(xí)的方法 7.3分類步驟與流程 7.4文本表示與特征選擇 7.4.1特征項(xiàng)選擇 7.4.2詞袋模型 7.4.3向量空間模型 7.4.4特征篩選與權(quán)重 7.5向量相似度測量 7.6分類模型 7.6.1樸素貝葉斯(Nave Bayes) 7.6.2k最近鄰(kNearest Neighbor) 7.6.3支持向量機(jī)(Support Vector Machines) 7.7文本分類的評價(jià) 7.7.1準(zhǔn)確率、召回率 7.7.2正確率、錯(cuò)誤率 7.7.3F值 7.7.4微平均和宏平均 7.8本章小結(jié) 第8章R語言簡介 8.1R語言的幫助文件 8.1.1R的基本知識在線幫助 8.1.2R程序中的關(guān)鍵字符及函數(shù)的在線幫助 8.2R程序包 8.2.1程序包的安裝 8.2.2程序包的載入 8.3R語言的數(shù)據(jù)結(jié)構(gòu)及基本函數(shù) 8.3.1R語言的對象類型 8.3.2R語言的對象的建立 8.3.3數(shù)值型向量的常用統(tǒng)計(jì)函數(shù) 8.4數(shù)據(jù)的讀取和存儲 8.4.1數(shù)據(jù)的讀取 8.4.2數(shù)據(jù)的存儲 8.5R的基本繪圖 8.5.1餅圖(Pie Plot) 8.5.2條形圖(Barplot) 8.5.3直方圖(Hist) 8.5.4折線圖(Matplot) 8.5.5箱線圖(Boxplot) 8.5.6散點(diǎn)圖(Scatter Diagram) 8.5.7散點(diǎn)圖矩陣(Scatterplot Matrices) 8.6假設(shè)檢驗(yàn) 8.6.1參數(shù)假設(shè)檢驗(yàn) 8.6.2非參數(shù)假設(shè)檢驗(yàn) 8.7方差分析 8.7.1方差齊性檢驗(yàn) 8.7.2單因素方差分析 8.7.3雙因素方差分析 8.8本章小結(jié) 第9章計(jì)算風(fēng)格學(xué)研究 9.1計(jì)算風(fēng)格學(xué)研究使用的語言特征 9.1.1字符方面 9.1.2詞匯方面 9.1.3句子方面 9.1.4詞類方面 9.1.5短語和語法結(jié)構(gòu)方面 9.1.6段落方面 9.2計(jì)算風(fēng)格學(xué)研究中常使用的方法 9.3莫言與余華小說計(jì)算風(fēng)格學(xué)研究 9.3.1基于頻率的風(fēng)格分析 9.3.2假設(shè)檢驗(yàn)的文本風(fēng)格分析 9.3.3基于文本聚類的風(fēng)格分析 9.3.4基于文本分類的風(fēng)格分析 9.3.5小結(jié) 9.4本章小結(jié) 附錄常用的統(tǒng)計(jì)數(shù)表 附表1標(biāo)準(zhǔn)正態(tài)分布函數(shù)數(shù)值表 附表2正態(tài)性檢驗(yàn)統(tǒng)計(jì)量W的系數(shù)ai(n)的值 附表3正態(tài)性檢驗(yàn)統(tǒng)計(jì)量W的 α分位數(shù)Wα表 附表4正態(tài)性檢驗(yàn)統(tǒng)計(jì)量Y的α 分位數(shù)Yα表 附表5t檢驗(yàn)臨界值表 附表6χ2檢驗(yàn)臨界值表 附表7F檢驗(yàn)臨界值表 附表8Wilcoxon秩和檢驗(yàn)臨界值表 附表9統(tǒng)計(jì)量H的分位數(shù)H1-α(r，f)表 附表10多重比較q1-α(r，f)表 參考文獻(xiàn) ......