數(shù)據(jù)倉庫和數(shù)據(jù)挖掘

第1章  緒論    1
1.1  企業(yè)用戶關(guān)心的新問題    1
1.2  解決問題的一項新技術(shù)——數(shù)據(jù)倉庫    2
1.3  數(shù)據(jù)倉庫的商業(yè)應(yīng)用    3
1.4  數(shù)據(jù)倉庫與信息管理    4
1.5  信息管理的新問題催生數(shù)據(jù)挖掘    6
1.6  數(shù)據(jù)挖掘與信息管理    7
1.7  數(shù)據(jù)倉庫與數(shù)據(jù)挖掘    9
1.8  數(shù)據(jù)倉庫與非結(jié)構(gòu)化數(shù)據(jù)的管理    10
1.9  數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫長期共存    11
第2章  數(shù)據(jù)倉庫概述    13
2.1  從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫    13
2.1.1  傳統(tǒng)數(shù)據(jù)庫的不足    13
2.1.2  數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的區(qū)別    16
2.2  數(shù)據(jù)倉庫的基本概念    17
2.2.1  外部數(shù)據(jù)源    18
2.2.2  數(shù)據(jù)抽取    18
2.2.3  抽取存儲區(qū)    18
2.2.4  數(shù)據(jù)清洗    18
2.2.5  數(shù)據(jù)轉(zhuǎn)換    19
2.2.6  元數(shù)據(jù)    20
2.2.7  數(shù)據(jù)集市    21
2.3  數(shù)據(jù)倉庫的體系結(jié)構(gòu)    22
2.3.1  數(shù)據(jù)倉庫系統(tǒng)的三個層次    22
2.3.2  數(shù)據(jù)倉庫的構(gòu)造模式    24
2.4  數(shù)據(jù)倉庫的特點    25
2.4.1  面向主題    26
2.4.2  數(shù)據(jù)的集成性    27
2.4.3  數(shù)據(jù)的非易失性    28
2.4.4  數(shù)據(jù)的時變性    28
2.5  數(shù)據(jù)倉庫的數(shù)據(jù)組織    28
2.5.1  數(shù)據(jù)倉庫的數(shù)據(jù)綜合    29
2.5.2  數(shù)據(jù)倉庫中的時間分割    30
2.5.3  數(shù)據(jù)倉庫中的數(shù)據(jù)組織    32
第3章  數(shù)據(jù)倉庫中的模型    34
3.1  數(shù)據(jù)倉庫中數(shù)據(jù)模型概述    34
3.2  數(shù)據(jù)倉庫的概念模型    36
3.2.1  企業(yè)模型的建立    36
3.2.2  數(shù)據(jù)模型的規(guī)范    37
3.2.3  常見的概念模型    40
3.3  邏輯模型與物理模型    41
3.3.1  邏輯數(shù)據(jù)模型的特點    42
3.3.2  物理模型的設(shè)計要點    43
3.3.3  事實表的設(shè)計    44
3.3.4  維度表的設(shè)計    45
3.3.5  物理模型的設(shè)計對數(shù)據(jù)倉庫性能的影響    46
3.4  元數(shù)據(jù)模型    47
3.4.1  元數(shù)據(jù)的類型    48
3.4.2  元數(shù)據(jù)的作用    49
3.4.3  元數(shù)據(jù)的收集與維護    50
3.4.4  元數(shù)據(jù)的使用    52
3.5  數(shù)據(jù)倉庫的粒度模型    53
3.5.1  粒度的劃分    54
3.5.2  粒度級別的確定    54
第4章  OLAP技術(shù)    56
4.1  OLAP概述    56
4.1.1  OLAP的發(fā)展歷程與特點    56
4.1.2  OLAP的基本概念    57
4.1.3  OLAP分析的基本操作    60
4.1.4  OLAP與OLTP的比較    63
4.2  OLAP的評價標(biāo)準(zhǔn)    64
4.2.1  評價OLAP的十二條準(zhǔn)則    64
4.2.2  對OLAP評價標(biāo)準(zhǔn)的補充    67
4.3  基于多維數(shù)據(jù)庫的OLAP    67
4.3.1  多維數(shù)據(jù)庫    67
4.3.2  MDDB數(shù)據(jù)中的時間序列    69
4.3.3  MDDB的數(shù)據(jù)存儲與讀取    70
4.4  基于RDBMS的OLAP    71
4.4.1  多維數(shù)據(jù)在RDBMS中的記錄    72
4.4.2  星形結(jié)構(gòu)的存儲實現(xiàn)    73
4.4.3  MOLAP與ROLAP的比較    75
4.5  OLAP的前端展現(xiàn)    77
4.5.1  OLAP系統(tǒng)的結(jié)構(gòu)    77
4.5.2  OLAP結(jié)果的展現(xiàn)方法    79
第5章  數(shù)據(jù)倉庫的開發(fā)實例    81
5.1  SQL Server簡介    81
5.1.1  SQL Server所提供的數(shù)據(jù)倉庫功能    81
5.1.2  SQL Server的安裝    81
5.1.3  Analysis Service窗口的打開與使用    85
5.2  SQL Server中創(chuàng)建數(shù)據(jù)倉庫的準(zhǔn)備工作    86
5.2.1  SQL Server中數(shù)據(jù)庫與表的創(chuàng)建    86
5.2.2  DTS的設(shè)置與使用    88
5.2.3  分析數(shù)據(jù)庫的建立與數(shù)據(jù)源的連接    91
5.3  維度的創(chuàng)建    93
5.3.1  創(chuàng)建“客戶”維度    94
5.3.2  創(chuàng)建“時間”維度    97
5.3.3  其他維度的創(chuàng)建    98
5.4  多維數(shù)據(jù)集的創(chuàng)建與處理    99
5.4.1  多維數(shù)據(jù)集的創(chuàng)建    99
5.4.2  多維數(shù)據(jù)集的處理    101
5.5  多維數(shù)據(jù)集數(shù)據(jù)瀏覽與OLAP的實施    105
5.5.1  多維數(shù)據(jù)集中數(shù)據(jù)的瀏覽    105
5.5.2  多維數(shù)據(jù)集中維度的操作與OLAP功能的實現(xiàn)    106
5.6  數(shù)據(jù)倉庫中的數(shù)據(jù)挖掘    108
5.6.1  SQL Server中數(shù)據(jù)挖掘的特性    108
5.6.2  決策樹挖掘技術(shù)的使用    109
5.6.3  Microsoft聚集挖掘技術(shù)的應(yīng)用    113
第6章  數(shù)據(jù)挖掘概述    115
6.1  數(shù)據(jù)挖掘基本概念    115
6.1.1  數(shù)據(jù)挖掘的由來    115
6.1.2  數(shù)據(jù)挖掘的技術(shù)定義    116
6.1.3  數(shù)據(jù)挖掘的商業(yè)定義    117
6.1.4  數(shù)據(jù)挖掘的對象    118
6.2  數(shù)據(jù)挖掘基本功能    119
6.2.1  概念描述    119
6.2.2  關(guān)聯(lián)分析    120
6.2.3  分類    120
6.2.4  聚類    121
6.2.5  孤立點分析    121
6.2.6  時序演變分析    121
6.2.7  信息摘要    122
6.2.8  信息抽取    122
6.2.9  元數(shù)據(jù)挖掘    122
6.3  數(shù)據(jù)挖掘過程    123
6.3.1  Fayyad過程模型    123
6.3.2  CRISP-DM過程模型    125
6.3.3  數(shù)據(jù)挖掘過程工作量    129
6.3.4  建立數(shù)據(jù)挖掘環(huán)境    130
6.4  數(shù)據(jù)挖掘方法    132
6.4.1  決策樹    132
6.4.2  神經(jīng)網(wǎng)絡(luò)    133
6.4.3  粗糙集    134
6.4.4  遺傳算法    135
6.4.5  概率論與數(shù)理統(tǒng)計    137
6.4.6  模糊集    137
6.4.7  關(guān)聯(lián)分析    138
6.5  數(shù)據(jù)挖掘系統(tǒng)發(fā)展階段    138
第7章  數(shù)據(jù)庫挖掘    140
7.1  概念描述    140
7.1.1  概念描述的生成過程    140
7.1.2  概念分層與數(shù)據(jù)泛化    141
7.1.3  概念分層方法    142
7.1.4  數(shù)據(jù)泛化方法    144
7.1.5  泛化的表示    147
7.1.6  屬性相關(guān)分析    148
7.1.7  區(qū)別性描述    149
7.2  關(guān)聯(lián)規(guī)則    149
7.2.1  關(guān)聯(lián)規(guī)則相關(guān)概念    149
7.2.2  關(guān)聯(lián)規(guī)則分類    151
7.2.3  單維布爾關(guān)聯(lián)規(guī)則    151
7.2.4  多層關(guān)聯(lián)規(guī)則    155
7.2.5  多維關(guān)聯(lián)規(guī)則    156
7.2.6  基于約束的挖掘    159
7.3  分類    161
7.3.1  分類過程與方法    161
7.3.2  決策樹分類    162
7.3.3  貝葉斯分類    165
7.3.4  神經(jīng)網(wǎng)絡(luò)方法    167
7.4  聚類分析    169
7.4.1  聚類分析概述    169
7.4.2  聚類處理的數(shù)據(jù)結(jié)構(gòu)    171
7.4.3  聚類處理的數(shù)據(jù)類型    171
7.4.4  聚類方法分類    174
7.4.5  典型聚類方法    175
7.4.6  孤立點分析    182
7.5  關(guān)聯(lián)規(guī)則興趣度    183
7.5.1  興趣度的作用    183
7.5.2  客觀性興趣度    183
7.5.3  主觀性興趣度    184
7.5.4  兩種標(biāo)準(zhǔn)的綜合    185
第8章  文本挖掘    187
8.1  文本挖掘概述    187
8.1.1  文本挖掘的主要技術(shù)    187
8.1.2  文本挖掘的一般過程    188
8.1.3  文本挖掘的主要應(yīng)用    189
8.1.4  文本挖掘?qū)π畔z索的影響    189
8.2  文本的預(yù)處理    190
8.2.1  文本表示    190
8.2.2  自動分詞    191
8.2.3  文本標(biāo)引    194
8.2.4  文本相似度計算    197
8.2.5  詞頻矩陣降維    198
8.2.6  去除重復(fù)文本    199
8.2.7  文本過濾    200
8.3  文本分類    201
8.3.1  文本分類應(yīng)用    201
8.3.2  文本分類方法    202
8.3.3  分類效果評價    204
8.4  文本聚類    205
8.4.1  劃分聚類法    205
8.4.2  層次聚類法    206
8.4.3  神經(jīng)網(wǎng)絡(luò)聚類法    207
8.4.4  遺傳算法聚類法    208
8.4.5  網(wǎng)頁聚類    208
8.5  自動摘要    209
8.5.1  自動摘要應(yīng)用    209
8.5.2  自動摘要方法    210
8.5.3  中文自動摘要系統(tǒng)    212
第9章  Web挖掘    214
9.1  概述    214
9.1.1  Web挖掘概念    214
9.1.2  幾個相關(guān)概念    216
9.1.3  Web挖掘數(shù)據(jù)源    219
9.1.4  Web挖掘過程    221
9.1.5  Web挖掘的挑戰(zhàn)    223
9.2  Web挖掘任務(wù)分類    225
9.2.1  Web內(nèi)容挖掘    226
9.2.2  Web結(jié)構(gòu)挖掘    228
9.2.3  Web使用挖掘    231
9.3  Web挖掘技術(shù)分類    234
9.3.1  統(tǒng)計分析    234
9.3.2  關(guān)聯(lián)規(guī)則    235
9.3.3  序列模式    236
9.3.4  聚類與分類    237
9.4  Web挖掘的應(yīng)用    237
9.4.1  在搜索引擎中的應(yīng)用    238
9.4.2  在網(wǎng)站設(shè)計中的應(yīng)用    239
9.4.3  在電子商務(wù)中的應(yīng)用    240
9.4.4  電子商務(wù)網(wǎng)站的Web挖掘?qū)嵤┻^程    241
第10章  數(shù)據(jù)挖掘應(yīng)用    247
10.1  數(shù)據(jù)挖掘應(yīng)用案例    247
10.1.1  生物醫(yī)學(xué)    248
10.1.2  市場業(yè)    249
10.1.3  科學(xué)研究    250
10.1.4  競技運動    252
10.1.5  商業(yè)銀行    252
10.1.6  商務(wù)應(yīng)用    253
10.2  數(shù)據(jù)挖掘產(chǎn)品    254
10.2.1  產(chǎn)品分類    255
10.2.2  產(chǎn)品介紹    256
10.2.3  產(chǎn)品評價    258
10.2.4  產(chǎn)品選擇    260
第11章  數(shù)據(jù)挖掘與競爭情報系統(tǒng)    262
11.1  競爭情報系統(tǒng)概述    262
11.1.1  競爭情報系統(tǒng)概念    262
11.1.2  數(shù)據(jù)挖掘應(yīng)用現(xiàn)狀    263
11.2  競爭情報流程    265
11.2.1  數(shù)據(jù)挖掘應(yīng)用    265
11.2.2  數(shù)據(jù)準(zhǔn)備    266
11.2.3  關(guān)系信息的挖掘    267
11.2.4  指標(biāo)值的自動抽取    269
11.3  競爭對手分析    272
11.3.1  主要競爭產(chǎn)品的確定    272
11.3.2  選擇核心競爭對手的依據(jù)    273
11.3.3  潛在競爭對手的類型    274
11.3.4  核心競爭對手的確定    276
11.3.5  挖掘潛在競爭對手    278
11.4  客戶分析    278
11.4.1  客戶關(guān)系管理    279
11.4.2  客戶數(shù)據(jù)收集    281
11.4.3  客戶獲取    282
11.4.4  客戶保持    284
11.4.5  交叉銷售    285
11.4.6  客戶細分    286
參考文獻    289