金融數(shù)據(jù)建模應(yīng)用（中級）

第 1 章 金融大數(shù)據(jù)概述 　　　　　　　1
1.1 認識金融大數(shù)據(jù) 　　　　　　1
1.1.1 大數(shù)據(jù)的定義 　　　　　　　　1
1.1.2 金融大數(shù)據(jù)的定義 　　　　　　1
1.1.3 金融大數(shù)據(jù)的分類 　　　　　　2
1.1.4 金融大數(shù)據(jù)的特點 　　　　　　3
1.1.5 金融大數(shù)據(jù)的作用 　　　　　　4
1.1.6 金融大數(shù)據(jù)的分析方法 　　　　　　　5
1.2 金融大數(shù)據(jù)應(yīng)用 　　　　　　6
1.2.1 金融大數(shù)據(jù)在銀行業(yè)的應(yīng)用 　　　　　　6
1.2.2 金融大數(shù)據(jù)在證券業(yè)的應(yīng)用 　　　　　　8
1.2.3 金融大數(shù)據(jù)在保險業(yè)的應(yīng)用 　　　　　　8
1.3 金融大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu) 　　　　　　10
1.3.1 數(shù)據(jù)產(chǎn)生層 　　　　　　　　10
1.3.2 數(shù)據(jù)交換層 　　　　　　　　11
1.3.3 流程調(diào)度層 　　　　　　　　13
1.3.4 數(shù)據(jù)計算層 　　　　　　　　13
1.3.5 數(shù)據(jù)應(yīng)用層 　　　　　　　　17
1.3.6 數(shù)據(jù)訪問層 　　　　　　　　18
1.3.7 數(shù)據(jù)管控層 　　　　　　　　19
1.4 金融大數(shù)據(jù)應(yīng)用的關(guān)鍵技術(shù) 　　　　　20
1.4.1 大數(shù)據(jù)采集技術(shù) 　　　　　　　20
1.4.2 大數(shù)據(jù)預(yù)處理技術(shù) 　　　　　　20
1.4.3 大數(shù)據(jù)存儲與管理技術(shù) 　　　　　　　20
1.4.4 大數(shù)據(jù)分析與挖掘技術(shù) 　　　　　　　21
1.4.5 大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù) 　　　　　　　21
本章習題 　　　　　　　21
第 2 章 金融數(shù)據(jù)分析基礎(chǔ) 　　　　　　23
2.1 認識金融數(shù)據(jù)分析 　　　　　　　　23
2.1.1 金融數(shù)據(jù)分析的目的 　　　　　　　　23
2.1.2 金融數(shù)據(jù)分析的意義 　　　　　　　　24
2.1.3 金融數(shù)據(jù)分析的基本思路 　　　　　　25
2.1.4 金融數(shù)據(jù)分析常用術(shù)語 　　　　　　　28
2.2 金融數(shù)據(jù)分析流程及應(yīng)用場景 　　　　　　　37
2.2.1 金融數(shù)據(jù)的獲取 　　　　　　　37
2.2.2 金融數(shù)據(jù)的預(yù)處理 　　　　　　38
2.2.3 金融數(shù)據(jù)的清洗 　　　　　　　39
2.2.4 金融數(shù)據(jù)的分析 　　　　　　　39
2.2.5 金融數(shù)據(jù)的展示 　　　　　　　40
2.2.6 金融數(shù)據(jù)分析的應(yīng)用場景 　　　　　　40
2.3 操作誤區(qū) 　　　　　　　　41
2.3.1 偏離分析目的 　　　　　　　42
2.3.2 分析報告缺少內(nèi)涵 　　　　　　42
本章習題 　　　　　　　42
第 3 章 金融數(shù)據(jù)建模及常用算法 　　　　　　45
3.1 金融數(shù)據(jù)建?；A(chǔ) 　　　　　　　　45
3.1.1 數(shù)據(jù)模型 　　　　　　　　　45
3.1.2 數(shù)據(jù)建模 　　　　　　　　　47
3.1.3 金融數(shù)據(jù)模型和金融數(shù)據(jù)建模規(guī)范 　　　　　　48
3.1.4 金融數(shù)據(jù)建模的流程 　　　　　　　　51
3.2 金融數(shù)據(jù)業(yè)務(wù)常用算法 　　　　　　55
3.2.1 相關(guān)分析 　　　　　　　　　55
3.2.2 回歸分析 　　　　　　　　　59
3.2.3 決策樹 　　　　　　　67
3.2.4 聚類分析 　　　　　　　　　71
3.2.5 關(guān)聯(lián)規(guī)則分析 　　　　　　　78
本章習題 　　　　　　　81
第 4 章 金融數(shù)據(jù)自主建模高級應(yīng)用 　　　　　82
4.1 自主建模的基本概念 　　　　　　　82
4.1.1 數(shù)據(jù)模型 　　　　　　　　　82
4.1.2 數(shù)據(jù)表 　　　　　　　86
4.1.3 算子 　　　　　　　　86
4.2 大數(shù)據(jù)建模分析平臺簡介 　　　　　　86
4.2.1 大數(shù)據(jù)建模分析平臺的功能模塊 　　　　　　87
4.2.2 數(shù)據(jù)手動上傳 　　　　　　　96
4.3 模型創(chuàng)建與管理 　　　　　　　　100
4.3.1 模型創(chuàng)建 　　　　　　　　　100
4.3.2 模型管理 　　　　　　　　　102
4.4 單表級數(shù)據(jù)處理通用算子 　　　　　108
4.4.1 添加字段算子 　　　　　　　108
4.4.2 JSON解析算子 　　　　　　　109
4.4.3 算術(shù)運算算子 　　　　　　　111
4.4.4 日期處理算子 　　　　　　　113
4.4.5 字符串處理算子 　　　　　　116
4.4.6 空值率算子 　　　　　　　　120
4.4.7 SQL算子 　　　　　　　　　121
4.5 多表級數(shù)據(jù)建模算子 　　　　　　　123
4.5.1 左連接算子 　　　　　　　　123
4.5.2 差集算子 　　　　　　　　　125
4.5.3 全關(guān)聯(lián)算子 　　　　　　　　126
4.6 金融數(shù)據(jù)模型綜合應(yīng)用 　　　　　　128
4.6.1 數(shù)據(jù)準備 　　　　　　　　　128
4.6.2 場景分析 　　　　　　　　　128
4.6.3 模型實現(xiàn) 　　　　　　　　　133
本章習題 　　　　　　　133
第 5 章 SQL在金融數(shù)據(jù)建模中的應(yīng)用 　　　　135
5.1 SQL使用場景及技巧 　　　　　　　135
5.2 SQL查詢基本語法及函數(shù)應(yīng)用 　　　　　　139
5.2.1 SQL查詢基本語法 　　　　　　　　139
5.2.2 數(shù)學(xué)運算函數(shù)應(yīng)用 　　　　　　　　142
5.2.3 日期函數(shù)應(yīng)用 　　　　　　　146
5.2.4 條件函數(shù)應(yīng)用 　　　　　　　154
5.2.5 字符串函數(shù)應(yīng)用 　　　　　　157
5.2.6 數(shù)值計算函數(shù)應(yīng)用 　　　　　　　　162
5.2.7 聚合函數(shù)應(yīng)用 　　　　　　　163
5.3 函數(shù)應(yīng)用注意事項 　　　　　　　164
本章習題 　　　　　　　164
第 6 章 金融數(shù)據(jù)可視化分析高級應(yīng)用 　　　　166
6.1 金融數(shù)據(jù)可視化分析概述 　　　　　166
6.1.1 金融數(shù)據(jù)可視化分析的定義 　　　　　166
6.1.2 金融數(shù)據(jù)可視化分析的應(yīng)用場景 　　　　　　167
6.1.3 金融數(shù)據(jù)可視化分析的主要功能 　　　　　　167
6.2 可視化圖表類型介紹 　　　　　　　168
6.2.1 數(shù)據(jù)準備及上傳 　　　　　　168
6.2.2 堆積圖及百分比堆積圖 　　　　　　　169
6.2.3 瀑布圖 　　　　　　　173
6.2.4 詞云圖 　　　　　　　175
6.2.5 散點圖 　　　　　　　177
6.2.6 桑基圖 　　　　　　　180
6.3 圖表設(shè)置 　　　　　　　　182
6.3.1 圖表顏色設(shè)置 　　　　　　　182
6.3.2 圖表聯(lián)動設(shè)置 　　　　　　　187
6.3.3 圖表篩選設(shè)置 　　　　　　　191
6.3.4 圖表鉆取設(shè)置 　　　　　　　196
6.3.5 圖表排序設(shè)置 　　　　　　　197
6.3.6 圖表樣式設(shè)置 　　　　　　　197
6.4 圖表中的常用計算 　　　　　　　197
6.4.1 百分比 　　　　　　　197
6.4.2 留存率 　　　　　　　198
6.4.3 活躍率 　　　　　　　198
6.4.4 重復(fù)率 　　　　　　　198
6.4.5 同比 　　　　　　　　199
6.4.6 環(huán)比 　　　　　　　　199
6.4.7 移動計算 　　　　　　　　　200
6.4.8 累計計算 　　　　　　　　　200
6.5 圖表中的自定義計算 　　　　　　　200
6.5.1 分組字段 　　　　　　　　　200
6.5.2 計算字段 　　　　　　　　　201
本章習題 　　　　　　　202
第 7 章 金融數(shù)據(jù)建模應(yīng)用案例解析 　　　　　203
7.1 案例背景 　　　　　　　　203
7.2 申請評分卡模型的構(gòu)建 　　　　　　204
7.2.1 建模思想及原理 　　　　　　204
7.2.2 建模方法 　　　　　　　　　204
7.2.3 模型開發(fā)流程 　　　　　　　206
7.3 申請評分卡模型的實現(xiàn) 　　　　　　206
7.3.1 數(shù)據(jù)獲取 　　　　　　　　　206
7.3.2 數(shù)據(jù)預(yù)處理 　　　　　　　　207
7.3.3 探索性數(shù)據(jù)分析 　　　　　　210
7.3.4 變量選擇 　　　　　　　　　214
7.3.5 模型開發(fā) 　　　　　　　　　220
7.3.6 模型評估 　　　　　　　　　225
7.3.7 信用評分 　　　　　　　　　226
7.4 模型分析總結(jié) 　　　　　　227
本章習題 　　　　　　　227
第 8 章 金融數(shù)據(jù)建模新技術(shù) 　　　　　229
8.1 機器學(xué)習 　　　　　　　　229
8.1.1 機器學(xué)習概述 　　　　　　　229
8.1.2 機器學(xué)習常用算法 　　　　　　　　230
8.1.3 機器學(xué)習在金融領(lǐng)域的應(yīng)用 　　　　　232
8.2 自然語言處理 　　　　　　232
8.2.1 自然語言處理概述 　　　　　　　　232
8.2.2 自然語言處理的基本任務(wù) 　　　　　　233
8.2.3 自然語言處理在金融領(lǐng)域的應(yīng)用 　　　　　　235
8.3 知識圖譜 　　　　　　　　236
8.3.1 知識圖譜概述 　　　　　　　236
8.3.2 知識圖譜構(gòu)建技術(shù) 　　　　　　　　236
8.3.3 知識圖譜在金融領(lǐng)域的應(yīng)用 　　　　　239
8.4 區(qū)塊鏈 　　　　　　　　　240
8.4.1 區(qū)塊鏈概述 　　　　　　　　240
8.4.2 區(qū)塊鏈核心技術(shù) 　　　　　　241
8.4.3 區(qū)塊鏈技術(shù)在金融領(lǐng)域的應(yīng)用 　　　　　　　242
本章習題 　　　　　　　244
第 9 章 金融數(shù)據(jù)安全規(guī)范 　　　　　245
9.1 金融數(shù)據(jù)安全概述 　　　　　　　245
9.1.1 金融數(shù)據(jù)安全的重要性 　　　　　　　245
9.1.2 金融數(shù)據(jù)面臨的風險 　　　　　　　245
9.1.3 我國金融數(shù)據(jù)安全原則 　　　　　　　247
9.1.4 我國金融數(shù)據(jù)安全法規(guī) 　　　　　　　247
9.2 金融數(shù)據(jù)安全分級 　　　　　　　250
9.2.1 金融數(shù)據(jù)安全分級的目標、原則和范圍 　　　　250
9.2.2 金融數(shù)據(jù)安全分級要素和規(guī)則 　　　　　　　251
9.2.3 金融數(shù)據(jù)安全級別劃分 　　　　　　　252
9.3 金融數(shù)據(jù)生命周期安全管理 　　　　　　　253
9.3.1 數(shù)據(jù)采集安全管理 　　　　　　　　253
9.3.2 數(shù)據(jù)傳輸安全管理 　　　　　　　　254
9.3.3 數(shù)據(jù)存儲安全管理 　　　　　　　　256
9.3.4 數(shù)據(jù)使用安全管理 　　　　　　　　257
9.3.5 數(shù)據(jù)刪除安全管理 　　　　　　　　261
9.3.6 數(shù)據(jù)銷毀安全管理 　　　　　　　　262
本章習題 　　　　　　　263
參考文獻　　　　　　　264