Python可解釋AI實(shí)戰(zhàn)（XAI）

第1 章 使用Python 解釋AI1
1.1 可解釋AI 的定義2
1.1.1 從黑盒模型到XAI 白盒模型3
1.1.2 解釋和闡釋4
1.2 設(shè)計(jì)和提取5
1.3 醫(yī)學(xué)診斷時(shí)間線中的XAI8
1.3.1 全科醫(yī)生使用的標(biāo)準(zhǔn)AI 程序8
1.3.2 西尼羅河病毒——一個(gè)生死
攸關(guān)的案例15
1.3.3 Google Location History 與XAI 的
結(jié)合可以拯救生命21
1.3.4 下載Google Location History21
1.3.5 讀取和顯示Google Location
History25
1.3.6 用XAI 增強(qiáng)AI 診斷33
1.3.7 將XAI 應(yīng)用于醫(yī)學(xué)診斷
實(shí)驗(yàn)性程序38
1.4 本章小結(jié)42
1.5 習(xí)題42
1.6 參考資料43
1.7 擴(kuò)展閱讀43
第2 章 AI 偏差和道德方面的
白盒XAI 45
2.1 自動(dòng)駕駛汽車系統(tǒng)AI 的
道德和偏差46
2.1.1 自動(dòng)駕駛系統(tǒng)在生死關(guān)頭是
如何做決策的47
2.1.2 電車難題47
2.1.3 麻省理工學(xué)院的道德
機(jī)器實(shí)驗(yàn)48
2.1.4 真實(shí)的生死攸關(guān)情景48
2.1.5 從道德倫理上解釋AI 的
局限性49
2.2 對(duì)自動(dòng)駕駛決策樹的解釋51
2.2.1 自動(dòng)駕駛系統(tǒng)的兩難困境52
2.2.2 導(dǎo)入模塊53
2.2.3 檢索數(shù)據(jù)集53
2.2.4 讀取和拆分?jǐn)?shù)據(jù)54
2.2.5 決策樹分類器的理論描述56
2.2.6 創(chuàng)建默認(rèn)的決策樹分類器57
2.2.7 訓(xùn)練、測量、保存模型58
2.2.8 顯示決策樹60
2.3 將XAI 應(yīng)用于自動(dòng)駕駛
決策樹62
2.4 使用XAI 和道德來控制
決策樹68
2.4.1 加載模型69
2.4.2 測量準(zhǔn)確率69
2.4.3 模擬實(shí)時(shí)案例69
2.4.4 由噪聲引起的ML 偏差70
2.4.5 將道德和法律引入ML72
2.6 本章小結(jié)74
2.7 習(xí)題75
2.8 參考資料75
2.9 擴(kuò)展閱讀76
第3 章 用Facets 解釋ML77
3.1 Facets 入門78
3.1.1 在Google Colaboratory
安裝Facets78
3.1.2 檢索數(shù)據(jù)集79
3.1.3 讀取數(shù)據(jù)文件80
3.2 Facets Overview80
3.3 對(duì)Facets 統(tǒng)計(jì)信息進(jìn)行排序82
3.3.1 按特征順序排序83
3.3.2 按不均勻性排序83
3.3.3 按字母順序排序86
3.3.4 按缺失值或零值的數(shù)量排序86
3.3.5 按分布距離排序87
3.4 Facets Dive88
3.4.1 構(gòu)建Facets Dive 交互式界面88
3.4.2 定義數(shù)據(jù)點(diǎn)的標(biāo)簽90
3.4.3 定義數(shù)據(jù)點(diǎn)的顏色92
3.4.4 定義x 軸和y 軸的binning 93
3.4.5 定義散點(diǎn)圖的x 軸和y 軸94
3.5 本章小結(jié)96
3.6 習(xí)題96
3.7 參考資料97
3.8 擴(kuò)展閱讀97
第4 章 Microsoft Azure 機(jī)器學(xué)習(xí)
模型的可解釋與SHAP 99
4.1 SHAP 簡介100
4.1.1 關(guān)鍵的SHAP 原則100
4.1.2 Shapley 值的數(shù)學(xué)表達(dá)式102
4.1.3 情感分析示例104
4.2 SHAP 入門108
4.2.1 安裝SHAP108
4.2.2 導(dǎo)入數(shù)據(jù)109
4.2.3 向量化數(shù)據(jù)集 115
4.3 線性模型和邏輯回歸117
4.3.1 創(chuàng)建、訓(xùn)練和可視化線性模型
的輸出 117
4.3.2 定義線性模型119
4.3.3 使用SHAP 實(shí)現(xiàn)與模型無關(guān)的
解釋121
4.3.4 創(chuàng)建線性模型解釋器121
4.3.5 添加圖表功能121
4.3.6 解釋模型的預(yù)測結(jié)果123
4.4 本章小結(jié) 130
4.5 習(xí)題 131
4.6 參考資料131
4.7 擴(kuò)展閱讀131
4.8 其他出版物 132
第5 章 從零開始構(gòu)建可解釋AI
解決方案133
5.1 道德倫理和法律視角 134
5.2 美國人口普查數(shù)據(jù)問題 135
5.2.1 使用pandas 顯示數(shù)據(jù)135
5.2.2 道德倫理視角137
5.3 機(jī)器學(xué)習(xí)視角 141
5.3.1 使用Facets Dive 顯示
訓(xùn)練數(shù)據(jù)142
5.3.2 使用Facets Dive 分析
訓(xùn)練數(shù)據(jù)144
5.3.3 驗(yàn)證輸出是否符合以上原則146
5.3.4 對(duì)輸入數(shù)據(jù)進(jìn)行轉(zhuǎn)換153
5.4 將WIT 應(yīng)用于轉(zhuǎn)換后的
數(shù)據(jù)集 155
5.5 本章小結(jié) 162
5.6 習(xí)題 163
5.7 參考資料 163
5.8 擴(kuò)展閱讀 163
第6 章 用Google What-If Tool(WIT)
實(shí)現(xiàn)AI 的公平性165
6.1 從道德倫理視角談AI
可解釋和可闡釋性 166
6.1.1 道德倫理視角166
6.1.2 法律視角167
6.1.3 解釋和闡釋167
6.1.4 準(zhǔn)備符合道德倫理的數(shù)據(jù)集168
6.2 WIT 入門170
6.2.1 導(dǎo)入數(shù)據(jù)集171
6.2.2 對(duì)數(shù)據(jù)進(jìn)行預(yù)處理172
6.2.3 創(chuàng)建數(shù)據(jù)結(jié)構(gòu)以訓(xùn)練和
測試模型174
6.3 創(chuàng)建DNN 模型174
6.4 創(chuàng)建SHAP 解釋器177
6.5 模型輸出與SHAP 值178
6.6 WIT 數(shù)據(jù)點(diǎn)瀏覽器和
編輯器181
6.6.1 創(chuàng)建WIT181
6.6.2 數(shù)據(jù)點(diǎn)編輯器182
6.6.3 特征186
6.6.4 性能和公平性187
6.7 本章小結(jié)193
6.8 習(xí)題193
6.9 參考資料194
6.10 擴(kuò)展閱讀194
第7 章 可解釋AI 聊天機(jī)器人 195
7.1 Dialogflow 的Python
客戶端196
7.1.1 安裝Google Dialogflow 的
Python 客戶端197
7.1.2 創(chuàng)建Google Dialogflow 代理197
7.1.3 啟用API 和服務(wù)200
7.1.4 實(shí)現(xiàn)Google Dialogflow 的
Python 客戶端202
7.2 增強(qiáng)Google Dialogflow 的
Python 客戶端205
7.2.1 創(chuàng)建對(duì)話函數(shù)205
7.2.2 在Dialogflow 實(shí)現(xiàn)XAI 的
限制206
7.2.3 在Dialogflow 創(chuàng)建意圖206
7.2.4 XAI Python 客戶端212
7.3 使用Google Dialogflow 的
CUI XAI 對(duì)話 216
7.3.1 將Dialogflow 集成到網(wǎng)站中216
7.3.2 Jupyter Notebook XAI 代理
管理器220
7.3.3 Google Assistant 220
7.4 本章小結(jié) 222
7.5 習(xí)題 223
7.6 擴(kuò)展閱讀 223
第8 章 LIME225
8.1 介紹LIME 226
8.1.1 LIME 的數(shù)學(xué)表示227
8.2 開始使用LIME 229
8.2.1 在Google Colaboratory 安裝
LIME230
8.2.2 檢索數(shù)據(jù)集和矢量化數(shù)據(jù)集230
8.3 一個(gè)實(shí)驗(yàn)性的AutoML
模塊 231
8.3.1 創(chuàng)建AutoML 模板232
8.3.2 Bagging 分類器233
8.3.3 梯度提升分類器234
8.3.4 決策樹分類器234
8.3.5 極度隨機(jī)樹分類器235
8.4 解釋分?jǐn)?shù) 236
8.5 訓(xùn)練模型并生成預(yù)測 236
8.5.1 分類器的交互選擇237
8.5.2 完成預(yù)測過程238
8.6 LIME 解釋器 239
8.6.1 創(chuàng)建LIME 解釋器240
8.6.2 闡釋LIME 解釋器242
8.7 本章小結(jié)247
8.8 習(xí)題.248
8.9 參考資料248
8.10 擴(kuò)展閱讀248
第9 章 反事實(shí)解釋法 249
9.1 反事實(shí)解釋法250
9.1.1 數(shù)據(jù)集和動(dòng)機(jī)250
9.1.2 使用WIT 可視化反事實(shí)
距離251
9.1.3 使用默認(rèn)視圖探索數(shù)據(jù)點(diǎn)
距離253
9.1.4 反事實(shí)解釋的邏輯258
9.2 距離函數(shù)的選項(xiàng)262
9.2.1 L1 范數(shù)263
9.2.2 L2 范數(shù)264
9.2.3 自定義距離函數(shù)265
9.3 深度學(xué)習(xí)模型的架構(gòu)266
9.3.1 調(diào)用 WIT266
9.3.2 自定義預(yù)測函數(shù)267
9.3.3 加載 Keras 預(yù)訓(xùn)練模型268
9.3.4 檢索數(shù)據(jù)集和模型269
9.4 本章小結(jié)270
9.5 習(xí)題270
9.6 參考資料271
9.7 擴(kuò)展閱讀271
第10 章 對(duì)比解釋法(CEM)  273
10.1 CEM274
10.2 將CEM應(yīng)用于MNIST276
10.2.1 安裝Alibi 并導(dǎo)入模塊276
10.2.2 導(dǎo)入模塊和數(shù)據(jù)集276
10.3 定義和訓(xùn)練CNN 模型279
10.3.1 創(chuàng)建CNN 模型281
10.3.2 訓(xùn)練CNN 模型281
10.3.3 將原始圖像與解碼圖像
進(jìn)行比較285
10.4 相關(guān)負(fù)面 287
10.4.1 CEM 參數(shù)288
10.4.2 初始化CEM解釋器289
10.4.3 相關(guān)負(fù)面的解釋290
10.5 本章小結(jié) 291
10.6 習(xí)題. 292
10.7 參考資料 292
10.8 擴(kuò)展閱讀 293
第11 章 錨解釋法295
11.1 錨解釋法 296
11.1.1 預(yù)測收入296
11.1.2 新聞組分類299
11.2 對(duì)ImageNet 圖像預(yù)測
應(yīng)用錨解釋法 300
11.2.1 安裝Alibi 并導(dǎo)入其他
所需模塊300
11.2.2 加載InceptionV3 模型301
11.2.3 下載圖像301
11.2.4 處理圖像并進(jìn)行預(yù)測302
11.2.5 構(gòu)建錨圖像解釋器303
11.2.6 解釋其他類別306
11.2.7 錨解釋法的局限性308
11.3 本章小結(jié) 309
11.4 習(xí)題 309
11.5 參考資料 310
11.6 擴(kuò)展閱讀 310
第12 章 認(rèn)知解釋法 311
12.1 基于規(guī)則的認(rèn)知解釋法 312
12.1.1 從XAI 工具到XAI 概念313
12.1.2 定義認(rèn)知解釋法313
12.1.3 實(shí)踐認(rèn)知解釋法315
12.1.4 特征的邊際貢獻(xiàn)319
12.2 矢量化器的認(rèn)知解釋法322
12.2.1 解釋LIME 的矢量化器323
12.2.2 解釋 IMDb 的SHAP
矢量化器325
12.3 CEM 的人類認(rèn)知輸入327
12.4 本章小結(jié) 331
12.5 習(xí)題332
12.6 擴(kuò)展閱讀 332
習(xí)題答案333