大數(shù)據(jù)技術(shù)及行業(yè)應(yīng)用

第1章 大數(shù)據(jù)相關(guān)概念
1．1 什么是大數(shù)據(jù)?
1．2 大數(shù)據(jù)有多大?
1．3 大數(shù)據(jù)是一種思維方式
1．4 大數(shù)據(jù)思維的應(yīng)用案例
1．5 大數(shù)據(jù)是如何產(chǎn)生的?
1．6 美國(guó)和中國(guó)的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)系統(tǒng)
1．7 如何學(xué)習(xí)大數(shù)據(jù)技術(shù)
本章小結(jié)
參考文獻(xiàn)
第2章 搭建私有大數(shù)據(jù)處理平臺(tái)
2．1 FreeBSD操作系統(tǒng)安裝
2．2 基礎(chǔ)軟件安裝
2．2．1 安裝Java運(yùn)行環(huán)境
2．2．2 安裝bash
2．3 Hadoop安裝配置
2．3．1 系統(tǒng)規(guī)劃
2．3．2 配置conf／masters、con．f／slaves文件
2．3．3 Hadoop安裝
2．4 Hadoop開(kāi)發(fā)環(huán)境配置
2．4．1 編譯Hadoop-eclipse-plugin-1．1．2．jar插件
2．4．2 eclipse配置
2．4．3 測(cè)試
2．5 Hadoop升級(jí)
2．6 Zookeeper安裝
2．6．1 在FreeBSD上安裝Zookeeper
2．6．2 啟動(dòng)并測(cè)試Zookeeper
2．7 HBase安裝配置
2．8 FreeBSD上網(wǎng)配置
2．8．1 VPN上網(wǎng)配置
2．8．2 網(wǎng)頁(yè)認(rèn)證上網(wǎng)配置
2．9 配置殺毒軟件
本章小結(jié)
第3章 大數(shù)據(jù)平臺(tái)虛擬化解決方案
3．1 Ubuntu上安裝Docker
3．1．1 Docker簡(jiǎn)介
3．1．2 Docker安裝
3．1．3 Docker鏡像相關(guān)命令
3．1．4 Docker容器相關(guān)命令
3．1．5 Dockerfile創(chuàng)建鏡像
3．1．6 Docker實(shí)現(xiàn)Spark集群
3．1．7 Docker集中化Web界面管理平臺(tái)shipyard
3．1．8 DockerUI
3．2 OpenStack搭建
3．2．1 下載工具和鏡像
3．2．2 配置網(wǎng)橋
3．2．3 安裝fuel
3．2．4 安裝OpenStack平臺(tái)
3．2．5 使用OpenStack平臺(tái)
本章小結(jié)
參考文獻(xiàn)
第4章 大數(shù)據(jù)平臺(tái)解決方案
4．1 大數(shù)據(jù)平臺(tái)比較
4．2 CDH大數(shù)據(jù)平臺(tái)搭建
4．2．1 Cloudera Manager安裝
4．2．2 添加服務(wù)
4．3 HDP大數(shù)據(jù)平臺(tái)搭建
4．3．1 部署Ambari
4．3．2 用Amban_web部署HDP平臺(tái)
本章小結(jié)
第5章 Spark在大數(shù)據(jù)處理中的應(yīng)用
5．1 Spark集群搭建
5．1．1 Scala在Ubuntu下的安裝和配置
5．1．2 Spark集群搭建
5．1．3 Spark集群?jiǎn)?dòng)測(cè)試
5．2 Spark-shell統(tǒng)計(jì)社交網(wǎng)絡(luò)中節(jié)點(diǎn)的度
5．2．1 啟動(dòng)HDFS和Spark
5．2．2 運(yùn)行Spark-shell
5．2．3 統(tǒng)計(jì)社交網(wǎng)絡(luò)中節(jié)點(diǎn)的度
5．3 Spark GraphX
5．3．1 屬性圖
5．3．2 圖操作
5．3．3 構(gòu)建圖
5．3．4 圖計(jì)算相關(guān)算法
5．3．5 GraphX圖計(jì)算實(shí)例
本章小結(jié)
參考文獻(xiàn)
第6章 大數(shù)據(jù)技術(shù)在環(huán)境科學(xué)中的應(yīng)用
6．1 大氣環(huán)境科學(xué)的數(shù)值模式的介紹
6．1．1 氣象模式
6．1．2 區(qū)域空氣質(zhì)量模式
6．2 高分辨率實(shí)時(shí)觀測(cè)的大數(shù)據(jù)
本章小結(jié)
參考文獻(xiàn)
第7章 大數(shù)據(jù)在DrugBank藥物數(shù)據(jù)庫(kù)聚類(lèi)方面的應(yīng)用
7．1 簡(jiǎn)介
7．2 開(kāi)發(fā)環(huán)境及編程語(yǔ)言
7．3 算法設(shè)計(jì)
7．3．1 算法設(shè)計(jì)流程
7．3．2 相似度的計(jì)算
7．4 算法實(shí)現(xiàn)
7．4．1 文件的解析
7．4．2 對(duì)靶標(biāo)、作用酶的分析
7．4．3 對(duì)分子中原子百分比的處理過(guò)程
7．4．4 結(jié)果的整合
7．4．5 最終結(jié)果展示
本章小結(jié)
參考文獻(xiàn)
第8章 大數(shù)據(jù)在電子商務(wù)數(shù)據(jù)分析中的應(yīng)用
8．1 研究現(xiàn)狀
8．2 相關(guān)技術(shù)及概念
8．2．1 網(wǎng)絡(luò)爬蟲(chóng)
8．2．2 HtmlUnit工具包
8．2．3 Mahout
8．2．4 樸素貝葉斯算法
8．2．5 文檔向量
8．2．6 TF-IDF改進(jìn)加權(quán)
8．2．7 中文分詞
8．3 需求分析
8．3．1 系統(tǒng)功能
8．3．2 系統(tǒng)界面
8．4 概要設(shè)計(jì)
8．4．1 系統(tǒng)模塊設(shè)計(jì)
8．4．2 數(shù)據(jù)庫(kù)設(shè)計(jì)
8．5 詳細(xì)設(shè)計(jì)
8．5．1 用戶登錄模塊
8．5．2 爬蟲(chóng)管理模塊
8．5．3 算法管理模塊
8．5．4 用戶管理模塊
8．6 系統(tǒng)測(cè)試
8．6．1 訓(xùn)練集準(zhǔn)備
8．6．2 新數(shù)據(jù)準(zhǔn)備
8．6．3 訓(xùn)練模型
8．6．4 數(shù)據(jù)分類(lèi)
8．6．5 分類(lèi)結(jié)果分析
本章小結(jié)
參考文獻(xiàn)
第9章 大數(shù)據(jù)技術(shù)在社交網(wǎng)絡(luò)研究中的應(yīng)用
9．1 社區(qū)發(fā)現(xiàn)研究簡(jiǎn)介
9．2 社區(qū)發(fā)現(xiàn)相關(guān)研究工作
9．2．1 相關(guān)工作
9．2．2 研究動(dòng)機(jī)
9．3 模型與問(wèn)題的形式化
9．3．1 社區(qū)森林模型
9．3．2 問(wèn)題形式化
9．4 骨干度算法
9．4．1 骨干度算法框架
9．4．2 算法的時(shí)間復(fù)雜度
9．4．3 算法比較
9．5 實(shí)驗(yàn)分析
9．5．1 數(shù)據(jù)集
9．5．2 一個(gè)特定人際關(guān)系網(wǎng)絡(luò)的測(cè)試
9．5．3 Zachary的空手道俱樂(lè)部測(cè)試
9．5．4 美國(guó)大學(xué)橄欖球隊(duì)
9．5．5 安然電子郵件公司數(shù)據(jù)集
9．5．6 DBLP合作網(wǎng)絡(luò)
9．5．7 結(jié)論
本章小結(jié)
參考文獻(xiàn)
第10章 大數(shù)據(jù)技術(shù)在文本挖掘和情感分類(lèi)中的應(yīng)用
10．1 研究綜述
lO．1．1 基于產(chǎn)品特征的觀點(diǎn)挖掘研究
10．1．2 產(chǎn)品評(píng)論結(jié)構(gòu)化信息抽取方法
10．1．3 評(píng)論信息分類(lèi)相關(guān)研究方法
10．2 評(píng)論文本的結(jié)構(gòu)化信息抽取
10．2．1 產(chǎn)品特征抽取
10．2．2 基于關(guān)聯(lián)規(guī)則抽取評(píng)論的隱式特征
10．2．3 基于監(jiān)督學(xué)習(xí)抽取評(píng)論的隱式特征
10．3 情感分類(lèi)研究綜述
10．3．1 基于詞典與語(yǔ)言規(guī)則進(jìn)行情感分類(lèi)
10．3．2 觀點(diǎn)挖掘結(jié)果歸納
10．4 算法評(píng)估結(jié)果與分析
10．4．1 隱式特征抽取實(shí)驗(yàn)結(jié)果及分析
10．4．2 篇章 粒度情感分類(lèi)實(shí)驗(yàn)結(jié)果及分析
10．4．3 語(yǔ)句粒度情感分類(lèi)實(shí)驗(yàn)結(jié)果及分析
本章小結(jié)
參考文獻(xiàn)
第11章 大數(shù)據(jù)技術(shù)在電力系統(tǒng)中的應(yīng)用
11．1 一種云可視化機(jī)網(wǎng)協(xié)調(diào)控制響應(yīng)特性數(shù)據(jù)挖掘方法
11．1．1 技術(shù)領(lǐng)域
11．1．2 背景技術(shù)
11．1．3 方案內(nèi)容
11．2 基于電力數(shù)據(jù)分析的河北南網(wǎng)電力市場(chǎng)化風(fēng)險(xiǎn)對(duì)沖方法
11．2．1 電網(wǎng)對(duì)發(fā)電側(cè)市場(chǎng)化風(fēng)險(xiǎn)對(duì)沖分析
11．2．2 電網(wǎng)對(duì)用電側(cè)市場(chǎng)化風(fēng)險(xiǎn)對(duì)沖分析
11．2．3 基于方差偏離規(guī)律的統(tǒng)計(jì)套利對(duì)沖方法
本章小結(jié)
附錄 FreeBSD操作系統(tǒng)安裝