Python自然語(yǔ)言處理（微課版）

目錄


第1章自然語(yǔ)言處理概述1
1.1人工智能發(fā)展歷程1
1.1.1第一階段: 20年黃金時(shí)代1
1.1.2第二階段: 第一次寒冬1
1.1.3第三階段: 繁榮期1
1.1.4第四階段: 第二次寒冬2
1.1.5第五階段: 穩(wěn)健時(shí)代2
1.2自然語(yǔ)言處理2
1.2.1概述2
1.2.2發(fā)展歷程3
1.2.3處理流程4
1.2.4研究?jī)?nèi)容4
1.3機(jī)器學(xué)習(xí)算法6
1.3.1監(jiān)督學(xué)習(xí)6
1.3.2無(wú)監(jiān)督學(xué)習(xí)7
1.4自然語(yǔ)言處理相關(guān)庫(kù)8
1.4.1NumPy8
1.4.2Matplotlib8
1.4.3Pandas8
1.4.4SciPy9
1.4.5NLTK9
1.4.6SnowNLP11
1.4.7Sklearn12
1.5語(yǔ)料庫(kù)12
1.5.1認(rèn)識(shí)語(yǔ)料庫(kù)12
1.5.2分類(lèi)13
1.5.3構(gòu)建原則13
1.5.4常用語(yǔ)料庫(kù)13
1.5.5搜狗新聞?wù)Z料庫(kù)15第2章Python語(yǔ)言簡(jiǎn)述19
2.1Python簡(jiǎn)介19
2.1.1Python發(fā)展歷程19
2.1.2Python的特點(diǎn)19
2.1.3Python應(yīng)用場(chǎng)合20
2.2Python解釋器21
2.2.1Ubuntu下安裝Python21
2.2.2Windows下安裝Python21
2.3Python編輯器22
2.3.1IDLE22
2.3.2VS Code23
2.3.3PyCharm23
2.3.4Anaconda24
2.3.5Jupyter 31
2.4代碼書(shū)寫(xiě)規(guī)則32
2.4.1縮進(jìn)32
2.4.2多行語(yǔ)句33
2.4.3注釋33
2.4.4編碼習(xí)慣33
2.5自學(xué)網(wǎng)站34
2.5.1菜鳥(niǎo)網(wǎng)站34
2.5.2廖雪峰學(xué)Python網(wǎng)站35
2.5.3Python官方網(wǎng)站35
2.5.4Python  100天從新手到大師網(wǎng)站35
第3章Python數(shù)據(jù)類(lèi)型37
3.1變量37
3.1.1變量命名37
3.1.2變量引用38
3.2運(yùn)算符38
3.2.1算術(shù)運(yùn)算符38
3.2.2關(guān)系運(yùn)算符39
3.2.3賦值運(yùn)算符40
3.2.4邏輯運(yùn)算符41
3.2.5位運(yùn)算符41
3.2.6成員運(yùn)算符43
3.2.7身份運(yùn)算符43
3.3表達(dá)式43
3.3.1概念43
3.3.2操作44
3.4數(shù)據(jù)類(lèi)型44
3.5數(shù)字45
3.5.1概念45
3.5.2操作45
3.6字符串46
3.6.1概念46
3.6.2操作46
3.7列表48
3.7.1概念48
3.7.2操作48
3.8元組53
3.8.1概念53
3.8.2操作54
3.9字典55
3.9.1字典的概念55
3.9.2字典操作56
3.9.3字典舉例59
3.10集合59
3.10.1集合的概念59
3.10.2集合操作60
3.10.3集合舉例61
3.11組合數(shù)據(jù)類(lèi)型62
3.11.1相互關(guān)系62
3.11.2數(shù)據(jù)類(lèi)型轉(zhuǎn)換62
第4章Python流程控制63
4.1流程結(jié)構(gòu)63
4.2順序結(jié)構(gòu)63
4.2.1輸入輸出64
4.2.2舉例67
4.3選擇結(jié)構(gòu)67
4.3.1單分支67
4.3.2雙分支68
4.3.3多分支69
4.3.4分支嵌套70
4.4循環(huán)概述72
4.4.1循環(huán)結(jié)構(gòu)72
4.4.2循環(huán)分類(lèi)72
4.5while語(yǔ)句72
4.5.1基本形式72
4.5.2else 語(yǔ)句73
4.5.3無(wú)限循環(huán)74
4.6for語(yǔ)句74
4.6.1應(yīng)用序列類(lèi)型74
4.6.2內(nèi)置函數(shù)range()75
4.7循環(huán)嵌套76
4.7.1原理76
4.7.2實(shí)現(xiàn)76
4.8輔助語(yǔ)句77
4.8.1break語(yǔ)句77
4.8.2continue語(yǔ)句79
4.8.3pass語(yǔ)句79
第5章Python函數(shù)81
5.1函數(shù)聲明與調(diào)用81
5.1.1函數(shù)聲明81
5.1.2函數(shù)調(diào)用81
5.1.3函數(shù)返回值83
5.2參數(shù)傳遞84
5.2.1實(shí)參與形參84
5.2.2傳對(duì)象引用84
5.3參數(shù)分類(lèi)85
5.3.1必備參數(shù)85
5.3.2默認(rèn)參數(shù)85
5.3.3關(guān)鍵參數(shù)86
5.3.4不定長(zhǎng)參數(shù)86
5.4兩類(lèi)特殊函數(shù)87
5.4.1匿名函數(shù)87
5.4.2遞歸函數(shù)88
第6章Python數(shù)據(jù)科學(xué)93
6.1科學(xué)計(jì)算93
6.2NumPy94
6.2.1認(rèn)識(shí)NumPy94
6.2.2創(chuàng)建數(shù)組95
6.2.3查看數(shù)組97
6.2.4索引和切片97
6.2.5矩陣運(yùn)算98
6.3Matplotlib99
6.3.1認(rèn)識(shí)Matplotlib99
6.3.2線形圖100
6.3.3散點(diǎn)圖101
6.3.4餅狀圖102
6.3.5直方圖102
6.4Pandas103
6.4.1認(rèn)識(shí)Pandas103
6.4.2Series104
6.4.3DataFrame108
6.4.4Index112
6.4.5Plot114
6.5SciPy115
6.5.1認(rèn)識(shí)SciPy115
6.5.2稀疏矩陣115
6.5.3線性代數(shù)116
6.6Seaborn117
6.6.1認(rèn)識(shí)Seaborn117
6.6.2圖表分類(lèi)119
第7章Sklearn和NLTK120
7.1Sklearn簡(jiǎn)介120
7.2安裝Sklearn121
7.3數(shù)據(jù)集122
7.3.1小數(shù)據(jù)集122
7.3.2大數(shù)據(jù)集127
7.3.3生成數(shù)據(jù)集128
7.4機(jī)器學(xué)習(xí)流程132
7.4.1語(yǔ)料清洗132
7.4.2劃分?jǐn)?shù)據(jù)集132
7.4.3特征工程137
7.4.4機(jī)器算法137
7.4.5模型評(píng)估137
7.5NLTK簡(jiǎn)介138
7.6NLTK語(yǔ)料庫(kù)139
7.6.1inaugural語(yǔ)料庫(kù)139
7.6.2gutenberg語(yǔ)料庫(kù)139
7.6.3movie_reviews語(yǔ)料庫(kù)140
7.7NLTK文本分類(lèi)141
7.7.1分句分詞141
7.7.2停止詞142
7.7.3詞干提取143
7.7.4詞形還原143
7.7.5WordNet144
7.7.6語(yǔ)義相關(guān)性145
第8章語(yǔ)料清洗146
8.1認(rèn)識(shí)語(yǔ)料清洗146
8.2清洗策略147
8.2.1一致性檢查147
8.2.2格式內(nèi)容檢查147
8.2.3邏輯錯(cuò)誤檢查147
8.3缺失值清洗147
8.3.1認(rèn)識(shí)缺失值147
8.3.2Pandas處理148
8.3.3Sklearn處理150
8.4異常值清洗151
8.4.1散點(diǎn)圖方法151
8.4.2箱線圖方法151
8.4.33σ法則153
8.5重復(fù)值清洗155
8.5.1NumPy處理155
8.5.2Pandas處理155
8.6數(shù)據(jù)轉(zhuǎn)換157
8.6.1數(shù)據(jù)值替換157
8.6.2數(shù)據(jù)值映射158
8.6.3數(shù)據(jù)值合并159
8.6.4數(shù)據(jù)值補(bǔ)充160
8.7Missingno庫(kù)161
8.7.1認(rèn)識(shí)Missingno庫(kù)161
8.7.2示例163
8.8詞云165
8.8.1認(rèn)識(shí)詞云165
8.8.2示例166
第9章特征工程168
9.1特征預(yù)處理168
9.1.1歸一化168
9.1.2標(biāo)準(zhǔn)化169
9.1.3魯棒化171
9.1.4正則化171
9.1.5示例172
9.2獨(dú)熱編碼176
9.2.1認(rèn)識(shí)獨(dú)熱編碼176
9.2.2Pandas實(shí)現(xiàn)177
9.2.3Sklearn實(shí)現(xiàn)178
9.2.4DictVectorizer179
9.3CountVectorizer180
9.3.1認(rèn)識(shí)CountVectorizer180
9.3.2Sklearn調(diào)用CountVectorizer180
9.4TFIDF181
9.4.1認(rèn)識(shí)TFIDF181
9.4.2計(jì)算TFIDF181
9.4.3Sklearn調(diào)用TFIDF182
第10章中文分詞183
10.1概述183
10.1.1簡(jiǎn)介183
10.1.2特點(diǎn)183
10.2常見(jiàn)中文分詞方法184
10.2.1基于規(guī)則和詞表方法184
10.2.2基于統(tǒng)計(jì)方法184
10.2.3基于理解方法185
10.3中文分詞困惑185
10.4jieba分詞庫(kù)186
10.4.1認(rèn)識(shí)jieba186
10.4.2三種模式187
10.4.3自定義詞典188
10.4.4詞性標(biāo)注189
10.4.5斷詞位置190
10.4.6關(guān)鍵詞抽取190
10.4.7停止詞表192
10.5HanLP分詞195
10.5.1認(rèn)識(shí)HanLP195
10.5.2pyhanlp196
10.5.3中文分詞196
10.5.4依存分析使用197
10.5.5關(guān)鍵詞提取198
10.5.6命名實(shí)體識(shí)別199
10.5.7自定義詞典199
10.5.8簡(jiǎn)體繁體轉(zhuǎn)換200
10.5.9摘要提取200
第11章文本分類(lèi)202
11.1歷史回顧202
11.2文本分類(lèi)方法202
11.2.1樸素貝葉斯202
11.2.2支持向量機(jī)203
11.3貝葉斯定理203
11.4樸素貝葉斯204
11.4.1GaussianNB方法204
11.4.2MultinomialNB方法205
11.4.3BernoulliNB方法207
11.5樸素貝葉斯進(jìn)行新聞分類(lèi)208
11.6支持向量機(jī)210
11.6.1線性核函數(shù)210
11.6.2多項(xiàng)式核函數(shù)211
11.6.3高斯核函數(shù)212
11.7支持向量機(jī)對(duì)鳶尾花分類(lèi)213
11.8垃圾郵件分類(lèi)216
11.8.1樸素貝葉斯定理實(shí)現(xiàn)217
11.8.2Sklearn樸素貝葉斯實(shí)現(xiàn)219
第12章文本聚類(lèi)222
12.1概述222
12.1.1算法原理222
12.1.2流程223
12.2KMeans算法223
12.2.1算法原理223
12.2.2數(shù)學(xué)理論實(shí)現(xiàn)223
12.2.3Python實(shí)現(xiàn)225
12.3主成分分析228
12.3.1算法原理228
12.3.2components參數(shù)228
12.3.3對(duì)鳶尾花數(shù)據(jù)降維230
12.4KMeans評(píng)估指標(biāo)232
12.4.1調(diào)整蘭德系數(shù)232
12.4.2輪廓系數(shù)232
12.5KMeans英文文本聚類(lèi)235
12.5.1構(gòu)建DataFrame數(shù)據(jù)236
12.5.2進(jìn)行分詞和停止詞去除236
12.5.3向量化236
12.5.4TFIDF模型236
12.5.5計(jì)算余弦相似度237
12.5.6KMeans聚類(lèi)237
12.6KMeans中文文本聚類(lèi)237
12.6.1程序流程237
12.6.2程序文件238
12.6.3執(zhí)行代碼238
第13章評(píng)價(jià)指標(biāo)242
13.1Sklearn中的評(píng)價(jià)指標(biāo)242
13.2混淆矩陣242
13.2.1認(rèn)識(shí)混淆矩陣242
13.2.2Pandas計(jì)算混淆矩陣243
13.2.3Sklearn計(jì)算混淆矩陣244
13.3準(zhǔn)確率244
13.3.1認(rèn)識(shí)準(zhǔn)確率244
13.3.2Sklearn計(jì)算準(zhǔn)確率245
13.4精確率245
13.4.1認(rèn)識(shí)精確率245
13.4.2Sklearn計(jì)算精確率245
13.5召回率246
13.5.1認(rèn)識(shí)召回率246
13.5.2Sklearn計(jì)算召回率246
13.6F1 Score247
13.6.1認(rèn)識(shí)F1 Score247
13.6.2Sklearn計(jì)算F1 Score247
13.7綜合實(shí)例247
13.7.1數(shù)學(xué)計(jì)算評(píng)價(jià)指標(biāo)248
13.7.2Python計(jì)算評(píng)價(jià)指標(biāo)248
13.8ROC曲線250
13.8.1認(rèn)識(shí)ROC曲線250
13.8.2Sklearn計(jì)算ROC曲線251
13.9AUC面積252
13.9.1認(rèn)識(shí)AUC面積252
13.9.2Sklearn計(jì)算AUC面積252
13.10分類(lèi)評(píng)估報(bào)告253
13.10.1認(rèn)識(shí)分類(lèi)評(píng)估報(bào)告253
13.10.2Sklearn計(jì)算分類(lèi)評(píng)估報(bào)告253
13.11NLP評(píng)價(jià)指標(biāo)254
13.11.1中文分詞精確率和召回率254
13.11.2未登錄詞和登錄詞召回率254
第14章信息提取258
14.1概述258
14.2相關(guān)概念258
14.2.1信息258
14.2.2信息熵258
14.2.3信息熵與霍夫曼編碼259
14.2.4互信息260
14.3正則表達(dá)式260
14.3.1基本語(yǔ)法261
14.3.2re模塊261
14.3.3提取電影信息264
14.4命名實(shí)體識(shí)別266
14.4.1認(rèn)識(shí)命名實(shí)體266
14.4.2常見(jiàn)方法266
14.4.3NLTK命名實(shí)體識(shí)別267
14.4.4Stanford NLP命名實(shí)體識(shí)別269
14.5馬爾可夫模型273
14.5.1認(rèn)識(shí)馬爾可夫273
14.5.2隱馬爾可夫模型273
第15章情感分析275
15.1概述275
15.1.1認(rèn)識(shí)情感分析275
15.1.2基于詞典方法275
15.2情感傾向分析276
15.2.1情感詞276
15.2.2程度詞276
15.2.3感嘆號(hào)276
15.2.4否定詞276
15.3textblob276
15.3.1分句分詞278
15.3.2詞性標(biāo)注278
15.3.3情感分析279
15.3.4單復(fù)數(shù)279
15.3.5過(guò)去式279
15.3.6拼寫(xiě)校正280
15.3.7詞頻統(tǒng)計(jì)280
15.4SnowNLP280
15.4.1分詞281
15.4.2詞性標(biāo)注281
15.4.3斷句281
15.4.4情緒判斷282
15.4.5拼音282
15.4.6繁轉(zhuǎn)簡(jiǎn)283
15.4.7關(guān)鍵字抽取283
15.4.8摘要抽取283
15.4.9詞頻和逆文檔詞頻284
15.5Gensim284
15.5.1認(rèn)識(shí)Gensim284
15.5.2認(rèn)識(shí)LDA286
15.5.3Gensim實(shí)現(xiàn)LDA286
15.6小說(shuō)人物情感分析288
15.6.1流程288
15.6.2代碼288
15.7電影影評(píng)情感分析289
15.7.1流程289
15.7.2代碼289
附錄A教學(xué)大綱292
一、 課程簡(jiǎn)介292
二、 課程內(nèi)容及要求292
三、 教學(xué)安排及學(xué)時(shí)分配298
四、 考核方式299
五、 建議教材及參考文獻(xiàn)299
參考文獻(xiàn)300