用Python動手學統計學

目　錄
第 1章　統計學基礎
1．1　統計學 2
1．1．1　統計學的目標①：描述現有數據 2
1．1．2　統計學的目標②：估計未知數據 3
1．1．3　術語　樣本與總體 3
1．1．4　1．2節(jié)及之后的內容 4
1．2　獲取樣本的過程 5
1．2．1　術語　隨機變量 5
1．2．2　湖中釣魚的例子 5
1．2．3　從總體中獲取樣本的過程 6
1．2．4　術語　樣本值 7
1．2．5　術語　抽樣 7
1．2．6　術語　簡單隨機抽樣 7
1．2．7　術語　樣本容量 7
1．2．8　術語　普查與抽樣調查 8
1．3　抽樣過程的抽象描述 9
1．3．1　符號　概率 9
1．3．2　術語　概率分布 9
1．3．3　術語　服從概率分布 10
1．3．4　術語　總體分布 10
1．3．5　作為抽樣過程的總體分布 10
1．3．6　無限總體的含義與總體分布 11
1．3．7　總結：抽樣過程 12
1．3．8　補充　甕模型 13
1．4　描述統計基礎 14
1．4．1　術語　定量變量 14
1．4．2　術語　離散變量與連續(xù)變量 14
1．4．3　術語　分類變量 15
1．4．4　術語　組、組中值 15
1．4．5　術語　頻數、頻數分布、頻率 15
1．4．6　術語　累積頻數、累積頻率 16
1．4．7　術語　直方圖 17
1．4．8　術語　統計量 19
1．4．9　術語　均值 19
1．4．10　術語　期望值 20
1．4．11　術語　方差 21
1．4．12　補充　均值、方差與數據范圍 21
1．5　總體分布的推斷 23
1．5．1　總體分布與總體的頻率分布 23
1．5．2　更現實一些的湖中釣魚 24
1．5．3　做假設 24
1．6　概率質量函數與概率密度函數 27
1．6．1　術語　概率質量函數 27
1．6．2　術語　概率密度 27
1．6．3　補充　積分與加法的關系 28
1．6．4　術語　概率密度函數 28
1．6．5　術語　正態(tài)分布 29
1．6．6　術語　參數（概率分布的參數） 30
1．6．7　補充　各種各樣的概率分布 30
1．6．8　推斷總體分布 =確定分布 +估計參數 31
1．6．9　把樣本的統計量看作參數的估計值 32
1．6．10　補充　估計誤差 32
1．6．11　總結：統計學基礎 33
1．7　統計量的計算 35
1．7．1　為什么要使用數學式 35
1．7．2　符號　樣本 35
1．7．3　符號　均值 36
1．7．4　符號　期望值 36
1．7．5　術語　總體均值與樣本均值 37
1．7．6　符號　樣本方差 37
1．7．7　術語　無偏方差 38
1．7．8　為什么樣本方差會偏離 38
1．7．9　術語　標準差 39
1．8　概率論基礎 41
1．8．1　術語　集合 41
1．8．2　術語　元素 41
1．8．3　集合的兩種表示方法 42
1．8．4　術語　子集 42
1．8．5　術語　維恩圖 43
1．8．6　術語　交集與并集 43
1．8．7　術語　差集 44
1．8．8　術語　空集 44
1．*8．*9　 術語 　全集 44
1．8．10　術語　補集 45
1．8．11　術語　樣本點、樣本空間、事件 45
1．8．12　術語　互斥事件 46
1．8．13　通過擲骰子可以聯想到的各種概率分布 47
1．8．14　概率的公理化定義 47
1．8．15　用頻率解釋概率 48
1．8．16　主觀概率 48
1．8．17　術語　概率的加法公式 49
1．8．18　術語　條件概率 49
1．8．19　術語　概率的乘法公式 50
1．8．20　術語　獨立事件 50
1．9　隨機變量與概率分布 51
1．9．1　隨機變量與樣本值 51
1．9．2　離散型概率分布與概率質量函數 52
1．9．3　概率密度 52
1．9．4　連續(xù)型概率分布與概率密度函數 53
1．9．5　概率的總和與概率密度的積分 53
1．9．6　補充　積分與面積的關系 54
1．9．7　正態(tài)分布的概率密度函數 56
1．9．8　符號　服從概率分布 56
1．9．9　獨立同分布 57
1．9．10　使用正態(tài)分布的概率密度函數計算概率的方法 57
1．9．11　使用概率密度計算期望值的方法 57

第 2章　Python與 Jupyter Notebook基礎 59
2．1　環(huán)境搭建 60
2．1．1　什么是 Python 60
2．1．2　Python的版本 60
2．1．3　Python與 Anaconda 60
2．1．4　Jupyter Notebook 61
2．1．5　下載和安裝 61
2．1．6　補充　Python編程術語 61
2．2　認識 Jupyter Notebook 63
2．2．1　啟動 Jupyter Notebook 63
2．2．2　創(chuàng)建新文件 64
2．2．3　執(zhí)行代碼 65
2．2．4　保存執(zhí)行結果 65
2．2．5　Markdown的用法 65
2．2．6　退出 Jupyter Notebook 66
2．3　Python編程基礎 67
2．3．1　實現　四則運算 67
2．3．2　實現　編寫注釋 68
2．3．3　實現　數據類型 69
2．3．4　實現　比較運算符 70
2．3．5　實現　變量 71
2．3．6　實現　函數 71
2．3．7　實現　類與實例 73
2．3．8　實現　基于 if語句的程序分支 75
2．3．9　實現　基于 for語句的循環(huán) 76
2．3．10　編寫易用程序的竅門 77
2．4　認識 numpy與 pandas 78
2．4．1　導入用于分析的功能 78
2．4．2　numpy與 pandas 79
2．4．3　實現　列表 79
2．4．4　術語　行與列 79
2．4．5　實現　數組 81
2．4．6　實現　生成等差數列的方法 82
2．4．7　實現　多種生成數組的方式 83
2．4．8　實現　切片 84
2．4．9　實現　數據幀 85
2．4．10　實現　讀取文件中的數據 87
2．4．11　實現　連接數據幀 87
2．4．12　實現　數據幀的列操作 88
2．4．13　實現　數據幀的行操作 90
2．4．14　補充　序列 91
2．4．15　補充　函數文檔 92

第3 章　使用Python 進行數據分析 95
3．*1　使用Python 進行描述統計：單變量 96
3*．1*．1　統計分析與scipy 96
3*．1．*2　單變量數據的操作 96
3*．1．*3　 實現 　總和與樣本容量 97
3．*1*．4　 實現 　均值（期望值） 98
3．*1．*5　 實現 　樣本方差 98
3．*1．*6　 實現 　無偏方差 100
3*．1．*7　 實現 　標準差 101
3．*1．*8　 補充 　標準化 101
3．*1．*9　 補充 　其他統計量 103
3*．1．*10　 實現 　scipy．stats 與四分位數 104
3．2　使用 Python進行描述統計：多變量 106
3．2．1　術語　整潔數據 106
3．2．2　術語　雜亂數據 107
3．2．3　術語　列聯表（交叉分類表） 108
3．2．4　多變量數據的管理 109
3．2．5　實現　求各分組的統計量 110
3．2．6　實現　列聯表 111
3．2．7　術語　協方差 112
3．2．8　術語　協方差矩陣 114
3．2．9　實現　協方差 114
3．2．10　實現　協方差矩陣 115
3．2．11　術語　皮爾遜積矩相關系數 116
3．2．12　術語　相關矩陣 116
3．2．13　實現　皮爾遜積矩相關系數 117
3．2．14　補充　相關系數無效的情況 118
3．3　基于 matplotlib、seaborn的數據可視化 119
3．3．1　Python中的數據可視化 119
3．3．2　實現　數據可視化的環(huán)境準備 119
3．3．3　實現　用 pyplot繪制折線圖 120
3．3．4　實現　用 seaborn和 pyplot繪制折線圖 121
3．3．5　實現　用 seaborn繪制直方圖 122
3．3．6　實現　通過核密度估計將直方圖平滑化 123
3．3．7　實現　兩個變量的直方圖 125
3．3．8　將多變量可視化的代碼 127
3．3．9　實現　箱形圖 128
3．3．10　實現　小提琴圖 129
3．3．11　實現　條形圖 130
3．3．12　實現　散點圖 131
3．3．13　實現　散點圖矩陣 132
3．4　用 Python模擬抽樣 135
3．4．1　環(huán)境準備 135
3．4．2　抽樣過程 136
3．4．3　在只有 5條魚的湖中抽樣 136
3．4．4　術語　隨機數 138
3．4．5　術語　放回抽樣、不放回抽樣 138
3．4．6　從魚較多的湖中抽樣 139
3．4．7　總體分布 140
3．4．8　對比總體分布和正態(tài)分布的概率密度函數 141
3．4．9　抽樣過程的抽象描述 143
3．4．10　補充　有限總體校正 144
3．4．11　補充　假設總體服從正態(tài)分布是否恰當 145
3．5　樣本統計量的性質 146
3．5．1　術語　試驗 146
3．5．2　術語　樣本分布 146
3．5．3　導入所需的庫 147
3．5．4　多次計算樣本均值 148
3．5．5　樣本均值的均值與總體均值相近 149
3．5．6　樣本容量越大，樣本均值越接近總體均值 150
3．5．7　定義用來計算樣本均值的函數 152
3．5．8　不同樣本容量所得的樣本均值的分布 153
3．5．9　樣本均值的標準差小于總體標準差 154
3．5．10　術語　標準誤差 156
3．5．11　標準誤差的直觀解釋 158
3．5．12　樣本方差的均值偏離總體方差 158
3．5．13　采用無偏方差消除偏離 159
3．5．14　樣本容量越大，其無偏方差越接近總體方差 160
3．5．15　術語　無偏性 161
3．5．16　術語　一致性 161
3．5．17　較好的參數估計量 162
3．5．18　補充　大數定律 162
3．5．19　補充　中心極限定理 162
3．6　正態(tài)分布及其應用 165
3．6．1　導入函數庫 165
3．6．2　實現　概率密度 166
3．6．3　樣本小于等于某值的比例 168
3．6．4　術語　累積分布函數 168
3．6．5　實現　累積分布函數 169
3．6．6　術語　左側概率與百分位數 170
3．6．7　實現　百分位數 170
3．6．8　術語　標準正態(tài)分布 171
3．6．9　術語　t值 171
3．6．10　t值的樣本分布 172
3．6．11　術語　t分布 174
3．6．12　實現　t分布 175
3．7　參數估計 177
3．7．1　本節(jié)任務 177
3．7．2　環(huán)境準備 177
3．7．3　術語　點估計 178
3．7．4　實現　點估計 179
3．7．5　術語　區(qū)間估計 179
3．7．6　術語　置信水平、置信區(qū)間 180
3．7．7　術語　置信界限 180
3．7．8　置信區(qū)間的計算 180
3．7．9　實現　區(qū)間估計 180
3．7．10　補充　置信區(qū)間的求解細節(jié) 181
3．7．11　決定置信區(qū)間大小的因素 183
3．7．12　區(qū)間估計結果的解讀 184
3．8　假設檢驗 187
3．8．1　術語　假設檢驗 187
3．8．2　單樣本 t檢驗 187
3．8．3　顯著性差異 188
3．8．4　t檢驗的直觀解釋 188
3．8．5　均值差異大不代表存在顯著性差異 189
3．8．6　t值 189
3．8．7　假設檢驗的結構：零假設與備擇假設 190
3．8．8　術語　p值 191
3．8．9　術語　顯著性水平 191
3．8．10　t檢驗與 t分布的關系 191
3．8．11　術語　單側檢驗與雙側檢驗 192
3．8．12　p值的計算 192
3．8．13　t檢驗的實現：環(huán)境準備 193
3．8．14　t檢驗的實現：計算 t值 194
3．8．15　t檢驗的實現：計算 p值 195
3．8．16　通過模擬實驗計算 p值 196
3．9　均值差的檢驗 198
3．9．1　雙樣本 t檢驗 198
3．9．2　配對樣本 t檢驗 198
3．9．3　環(huán)境準備 199
3．9．4　實現　配對樣本 t檢驗 200
3．9．5　獨立樣本 t檢驗 201
3．9．6　實現　獨立樣本 t檢驗 202
3．9．7　補充　獨立樣本 t檢驗（同方差） 203
3．9．8　補充　p值操縱 203
3．10　列聯表檢驗 205
3．10．1　使用列聯表的好處 205
3．10．2　本節(jié)例題 206
3．10．3　計算期望頻數 207
3．10．4　計算觀測頻數和期望頻數的差 208
3．10．5　實現　計算 p值 209
3．10．6　實現　列聯表檢驗 209
3．11　檢驗結果的解讀 211
3．11．1　p值小于 0．05時的表述方法 211
3．11．2　p值大于 0．05時的表述方法 211
3．11．3　關于假設檢驗的常見誤區(qū) 212
3．11．4　p值小不代表差異大 212
3．11．5　p值大于 0．05不代表沒有差異 213
3．11．6　術語　第 一類錯誤與第二類錯誤 213
3．11．7　術語　假設檢驗的非對稱性 213
3．11．8　在檢驗之前確定顯著性水平 214
3．11．9　補充　統計模型的選擇 214
3．11．10　假設檢驗有什么用 214
3．11．11　假設是否正確 215

第 4章　統計模型基礎 217
4．1　統計模型 218
4．1．1　術語　模型 218
4．1．2　術語　建模 218
4．1．3　模型有什么用 218
4．1．4　簡化復雜的世界 219
4．1．5　從某個角度觀察復雜的現象 219
4．1．6　術語　數學模型 220
4．1．7　術語　概率模型 220
4．1．8　術語　統計模型 221
4．1．9　概率分布與統計模型 221
4．1．10　基于統計模型的預測 222
4．1．11　統計模型與經典數據分析的對比 222
4．1．12　統計模型應用 223
4．2　建模方法 224
4．2．1　本節(jié)例題 224
4．2．2　術語　響應變量和解釋變量 224
4．2．3　術語　參數模型 224
4．2．4　術語　非參數模型 224
4．2．5　術語　線性模型 224
4．2．6　術語　系數與權重 226
4．2．7　建模 = 模型選擇 + 參數估計 227
4．2．8　線性模型的建模方法 227
4．2．9　術語　變量選擇 228
4．2．10　術語　空模型 228
4．2．11　通過假設檢驗選擇變量 229
4．2．12　通過信息量準則選擇變量 229
4．2．13　模型評估 230
4．2．14　補充　在建模之前確定分析目的 230
4．3　數據表示與模型名稱 231
4．3．1　術語　正態(tài)線性模型 231
4．3．2　術語　回歸分析（經典術語） 231
4．3．3　術語　多元回歸分析（經典術語） 232
4．3．4　術語　方差分析（經典術語） 232
4．3．5　術語　廣義線性模型 232
4．3．6　補充　機器學習中的叫法 232
4．4　參數估計：最大似然估計 234
4．4．1　為什么要學習參數估計 234
4．4．2　術語　似然 234
4．4．3　術語　似然函數 235
4．4．4　術語　對數似然 235
4．4．5　術語　對數的性質 235
4．4．6　術語　最大似然法 238
4．4．7　術語　最大似然估計量 238
4．4．8　術語　最大對數似然 239
4．4．9　服從正態(tài)分布的數據的似然 239
4．4．10　術語　多余參數 239
4．4．11　正態(tài)線性模型的似然 240
4．4．12　補充　最大似然法計算舉例 241
4．4．13　補充　最大似然估計量的性質 243
4．5　參數估計：最小化損失 244
4．5．1　術語　損失函數 244
4．5．2　術語　殘差 244
4．5．3　為什么不把殘差之和作為損失指標 245
4．5．4　術語　殘差平方和 246
4．5．5　術語　最小二乘法 247
4．5．6　補充　最小二乘法與最大似然法的關系 247
4．5．7　術語　誤差函數 248
4．5．8　多種損失函數 248
4．6　預測精度的評估與變量選擇 249
4．6．1　術語　擬合精度與預測精度 249
4．6．2　術語　過擬合 249
4．6．3　變量選擇的意義 250
4．6．4　術語　泛化誤差 250
4．6．5　術語　訓練集與測試集 250
4．6．6　術語　交叉驗證 250
4．6．7　術語　赤池信息量準則 251
4．6．8　術語　相對熵 252
4．6．9　最小化相對熵與平均對數似然 252
4．6．10　AIC與平均對數似然中的偏離 253
4．6．11　AIC與交叉驗證 254
4．6．12　使用 AIC進行變量選擇 254
4．6．13　用變量選擇代替假設檢驗 254
4．6．14　使用假設檢驗還是 AIC 255

第 5章　正態(tài)線性模型 257
5．1　含有單個連續(xù)型解釋變量的模型（一元回歸） 258
5．1．1　環(huán)境準備 258
5．1．2　實現　讀入數據并繪制其圖形 259
5．1．3　建模 260
5．1．4　實現　使用 statsmodels實現模型化 261
5．1．5　實現　打印估計結果并檢驗系數 261
5．1．6　關于 summary函數的輸出的說明 263
5．1．7　實現　使用 AIC進行模型選擇 264
5．1．8　術語　回歸直線 266
5．1．9　實現　用 seaborn繪制回歸直線 266
5．1．10　實現　使用模型進行預測 267
5．1．11　實現　獲取殘差 269
5．1．12　術語　決定系數 270
5．1．13　實現　決定系數 270
5．1．14　術語　修正決定系數 272
5．1．15　實現　修正決定系數 272
5．1．16　實現　殘差的直方圖和散點圖 273
5．1．17　術語　分位圖 274
5．1．18　實現　分位圖 275
5．1．19　根據 summary函數的輸出分析殘差 277
5．2　方差分析 279
5．2．1　本節(jié)例題 279
5．2．2　什么時候應該使用方差分析 279
5．2．3　術語　多重假設檢驗 280
5．2．4　方差分析的直觀理解：F比 280
5．2．5　顯著性差異與小提琴圖 281
5．2．6　方差分析的直觀理解：分離效應和誤差 283
5．2．7　術語　組間差異與組內差異 283
5．2．8　環(huán)境準備 284
5．2．9　生成數據并可視化 284
5．2．10　實現　方差分析①：計算組間偏差平方和與組內偏差平方和 286
5．2．11　實現　方差分析②：計算組間方差與組內方差 287
5．2．12　實現　方差分析③：計算 p值 288
5．2．13　解釋變量為分類變量的正態(tài)線性模型 289
5．2．14　術語　虛擬變量 289
5．2．15　實現　statsmodels中的方差分析 290
5．2．16　術語　方差分析表 290
5．2．17　模型系數的含義 290
5．2．18　使用模型分離效應和誤差 291
5．2．19　回歸模型中的方差分析 292
5．3　含有多個解釋變量的模型 295
5．3．1　環(huán)境準備 295
5．3．2　實現　數據可視化 296
5．3．3　錯誤的分析：建立只有 1個變量的模型 297
5．3．4　分析解釋變量之間的關系 299
5．3．5　實現　多解釋變量的模型 301
5．3．6　錯誤的分析：使用普通方差分析 301
5．3．7　實現　回歸系數的 t檢驗 303
5．3．8　術語　Type II ANOVA 304
5．3．9　模型選擇與方差分析 304
5．3．10　Type II ANOVA與調整平方和 307
5．3．11　實現　Type II ANOVA 308
5．3．12　Type II ANOVA的含義 310
5．3．13　實現　變量選擇與模型選擇 310
5．3．14　使用 AIC進行變量選擇 311
5．3．15　補充　多重共線性 312

第 6章　廣義線性模型 313
6．1　各種概率分布 314
6．1．1　術語　二值隨機變量 314
6．1．2　術語　伯努利試驗 314
6．1．3　術語　成功概率 315
6．1．4　術語　伯努利分布 315
6．1．5　術語　二項分布 315
6．1．6　二項分布的應用 316
6．1．7　二項分布的概率質量函數 316
6．1．8　環(huán)境準備 317
6．1．9　實現　二項分布 318
6．1．10　術語　泊松分布 319
6．1．11　泊松分布的應用 319
6．1．12　泊松分布的概率質量函數 320
6．1．13　補充　二項分布與泊松分布的關系 320
6．1．14　實現　泊松分布 320
6．1．15　補充　其他概率分布 323
6．1．16　補充　指數分布族 323
6．2　廣義線性模型基礎 325
6．2．1　廣義線性模型的組成 325
6．2．2　概率分布 326
6．2．3　術語　線性預測算子 326
6．2．4　術語　聯系函數 326
6．2．5　聯系函數與概率分布的關系 327
6．2．6　廣義線性模型的參數估計 328
6．2．7　補充　廣義線性模型的檢驗方法 328
6．3　logistic回歸 329
6．3．1　術語　logistic回歸 329
6．3．2　本節(jié)例題 329
6．3．3　二值分類問題 329
6．3．4　術語　logit函數 330
6．3．5　術語　反函數 330
6．3．6　術語　logistic函數 330
6．3．7　logistic函數的性質 331
6．3．8　logistic回歸的推導 331
6．3．9　logistic回歸的似然函數 332
6．3．10　環(huán)境準備 333
6．3．11　實現　讀取數據并可視化 334
6．3．12　實現　logistic回歸 335
6．3．13　實現　logistic 回歸的結果 336
6．3．14　實現　模型選擇 337
6．3．15　實現　回歸曲線 337
6．3．16　實現　預測成功概率 338
6．3．17　術語　優(yōu)勢 339
6．3．18　術語　優(yōu)勢比 340
6．3．19　logistic回歸的系數與優(yōu)勢比的關系 340
6．4　廣義線性模型的評估 342
6．4．1　環(huán)境準備 342
6．4．2　術語　皮爾遜殘差 343
6．4．3　皮爾遜殘差的含義 343
6．4．4　實現　皮爾遜殘差 344
6．4．5　術語　模型偏差 345
6．4．6　模型偏差的含義 345
6．4．7　補充　模型偏差與似然比檢驗 346
6．4．8　術語　偏差殘差 346
6．4．9　實現　偏差殘差 346
6．4．10　補充　交叉熵誤差 347
6．5　泊松回歸 349
6．5．1　術語　泊松回歸 349
6．5．2　本節(jié)例題 349
6．5．3　泊松回歸的推導 349
6．5．4　環(huán)境準備 350
6．5．5　實現　泊松回歸 351
6．5．6　實現　模型選擇 352
6．5．7　實現　回歸曲線 352
6．5．8　回歸系數的含義 353

第 7章　統計學與機器學習 355
7．1　機器學習基礎 356
7．1．1　術語　機器學習 356
7．1．2　術語　有監(jiān)督學習 356
7．1．3　術語　無監(jiān)督學習 357
7．1．4　補充　強化學習 357
7．1．5　補充　規(guī)則學習 357
7．1．6　統計學與機器學習無法徹底分離 357
7．1．7　統計學注重過程，機器學習注重結果 358
7．2　正則化、Ridge回歸與 Lasso回歸 359
7．2．1　術語　正則化 359
7．2．2　術語　Ridge回歸 359
7．2．3　術語　Lasso回歸 361
7．2．4　確定正則化強度 361
7．2．5　將解釋變量標準化 361
7．2．6　Ridge回歸與 Lasso回歸的估計結果對比 362
7．2．7　變量選擇與正則化的對比 363
7．2．8　正則化的意義 363
7．3　Python中的 Ridge回歸與 Lasso回歸 365
7．3．1　scikit．learn 365
7．3．2　環(huán)境準備 365
7．3．3　實現　標準化 366
7．3．4　定義響應變量 368
7．3．5　實現　普通最小二乘法 369
7．3．6　實現　使用 sklearn實現線性回歸 370
7．3．7　實現　Ridge回歸：懲罰指標的影響 370
7．3．8　實現　Ridge回歸：確定最佳正則化強度 373
7．3．9　實現　Lasso回歸：懲罰指標的影響 374
7．3．10　實現　Lasso回歸：確定最佳正則化強度 376
7．4　線性模型與神經網絡 378
7．4．1　本節(jié)例題 378
7．4．2　術語　輸入向量、目標向量、權重、偏置 378
7．4．3　術語　單層感知機 379
7．4．4　術語　激活函數 379
7．4．5　從線性模型到神經網絡 380
7．4．6　術語　隱藏層 381
7．4．7　術語　神經網絡 381
7．4．8　神經網絡的結構 381
7．4．9　神經網絡中的 L2正則化 382
7．4．10　環(huán)境準備 382
7．4．11　實現　讀入數據并整理 383
7．4．12　實現　logistic 回歸 385
7．4．13　實現　標準化 387
7．4．14　實現　神經網絡 388
7．4．15　線性模型與神經網絡的優(yōu)點 389
7．5　擴展內容 390
7．5．1　數學原理 390
7．5．2　經典統計學 390
7．5．3　統計模型 391
7．5．4　機器學習 391
7．5．5　模型評估 392
7．5．6　數據科學 392

參考文獻 394