工業(yè)大數(shù)據(jù)采集、處理與應(yīng)用

前言 \n
二維碼索引 \n
緒論 1 \n
項(xiàng)目1　了解工業(yè)大數(shù)據(jù) 4 \n
【知識(shí)目標(biāo)】 4 \n
【技能目標(biāo)】 4 \n
【項(xiàng)目背景】 4 \n
任務(wù)1-1　認(rèn)識(shí)工業(yè)大數(shù)據(jù) 4 \n
【任務(wù)描述】 4 \n
【相關(guān)知識(shí)】 5 \n
一、大數(shù)據(jù)的概念和特征 5 \n
二、大數(shù)據(jù)的分類 6 \n
三、數(shù)據(jù)規(guī)模的度量 7 \n
【任務(wù)實(shí)施】 7 \n
一、認(rèn)識(shí)工業(yè)大數(shù)據(jù)的來源 7 \n
二、認(rèn)識(shí)工業(yè)大數(shù)據(jù)的特征 10 \n
三、工業(yè)大數(shù)據(jù)實(shí)例 11 \n
任務(wù)1-2　 對(duì)工業(yè)大數(shù)據(jù)及其應(yīng)用 \n
進(jìn)行分類 14 \n
【任務(wù)描述】 14 \n
【相關(guān)知識(shí)】 14 \n
一、工業(yè)企業(yè)的運(yùn)行流程 14 \n
二、工業(yè)大數(shù)據(jù)的分類 15 \n
三、工業(yè)大數(shù)據(jù)的應(yīng)用場(chǎng)景 17 \n
【任務(wù)實(shí)施】 19 \n
一、認(rèn)識(shí)工業(yè)大數(shù)據(jù)的應(yīng)用類型 19 \n
二、工業(yè)大數(shù)據(jù)應(yīng)用實(shí)例 20 \n
任務(wù)1-3　了解工業(yè)大數(shù)據(jù)系統(tǒng)架構(gòu) 23 \n
【任務(wù)描述】 23 \n
【相關(guān)知識(shí)】 24 \n
一、靜態(tài)數(shù)據(jù)和流數(shù)據(jù) 24 \n
二、批量計(jì)算和流式計(jì)算 24 \n
【任務(wù)實(shí)施】 26 \n
一、認(rèn)識(shí)工業(yè)大數(shù)據(jù)的架構(gòu) 26 \n
二、認(rèn)識(shí)Hadoop 28 \n
三、認(rèn)識(shí)Hadoop分布式文件系統(tǒng) 28 \n
四、認(rèn)識(shí)并行計(jì)算框架MapReduce 29 \n
五、安裝Linux操作系統(tǒng) 30 \n
六、安裝Hadoop 30 \n
拓展知識(shí)　大數(shù)據(jù)技術(shù)框架 32 \n
項(xiàng)目2　工業(yè)大數(shù)據(jù)采集 36 \n
【知識(shí)目標(biāo)】 36 \n
【技能目標(biāo)】 36 \n
【項(xiàng)目背景】 36 \n
任務(wù)2-1　了解工業(yè)數(shù)據(jù)采集 36 \n
【任務(wù)描述】 36 \n
【相關(guān)知識(shí)】 37 \n
一、工業(yè)現(xiàn)場(chǎng)網(wǎng)絡(luò) 37 \n
二、工業(yè)數(shù)據(jù)采集常見的網(wǎng)絡(luò)協(xié)議 39 \n
三、工業(yè)數(shù)據(jù)的采集方式 42 \n
四、數(shù)據(jù)的存儲(chǔ) 45 \n
【任務(wù)實(shí)施】 45 \n
一、準(zhǔn)備安裝IoTHub 45 \n
二、安裝Sentinel Runtime 45 \n
三、安裝IoTHub 46 \n
任務(wù)2-2　采集PLC數(shù)據(jù) 48 \n
【任務(wù)描述】 48 \n
【相關(guān)知識(shí)】 48 \n
一、PLC的組成 48 \n
二、PLC的特點(diǎn) 49 \n
三、PLC連接的信號(hào)類型 49 \n
四、PLC的通信 50 \n
【任務(wù)實(shí)施】 50 \n
一、安裝Agent 51 \n
二、創(chuàng)建并連接控制器 53 \n
三、定義變量 56 \n
目 錄 \n
— VIII — \n
工業(yè)大數(shù)據(jù)采集、處理與應(yīng)用 \n
四、數(shù)據(jù)存儲(chǔ) 58 \n
任務(wù)2-3　采集PTL數(shù)據(jù) 65 \n
【任務(wù)描述】 65 \n
【相關(guān)知識(shí)】 66 \n
一、PTL系統(tǒng)的構(gòu)成 66 \n
二、PTL系統(tǒng)的特點(diǎn) 68 \n
三、PTL系統(tǒng)的功能 68 \n
四、PTL系統(tǒng)的結(jié)構(gòu) 68 \n
【任務(wù)實(shí)施】 69 \n
一、安裝Agent 70 \n
二、創(chuàng)建并連接控制器 71 \n
三、查看變量 74 \n
四、任務(wù)下發(fā) 75 \n
五、數(shù)據(jù)存儲(chǔ) 77 \n
拓展知識(shí)　ERP與MES的集成 78 \n
項(xiàng)目3　工業(yè)大數(shù)據(jù)預(yù)處理 81 \n
【知識(shí)目標(biāo)】 81 \n
【技能目標(biāo)】 81 \n
【項(xiàng)目背景】 81 \n
任務(wù)3-1　清洗、轉(zhuǎn)換、加載工業(yè)大數(shù)據(jù) 81 \n
【任務(wù)描述】 81 \n
【相關(guān)知識(shí)】 83 \n
一、ETL的概念 83 \n
二、數(shù)據(jù)抽取 83 \n
三、數(shù)據(jù)清洗 84 \n
四、數(shù)據(jù)轉(zhuǎn)換 85 \n
五、數(shù)據(jù)加載 85 \n
六、ETL工具Kettle 86 \n
【任務(wù)實(shí)施】 89 \n
一、下載、安裝并啟動(dòng)Kettle 90 \n
二、分析數(shù)據(jù)問題 91 \n
三、處理流程設(shè)計(jì) 93 \n
四、讀入數(shù)據(jù) 94 \n
五、過濾數(shù)據(jù) 97 \n
六、補(bǔ)缺失值 98 \n
七、替換數(shù)據(jù)列 99 \n
八、值映射 100 \n
九、輸出到文件 101 \n
十、執(zhí)行轉(zhuǎn)換 102 \n
十一、保存轉(zhuǎn)換文件 102 \n
任務(wù)3-2　建立數(shù)據(jù)倉(cāng)庫(kù) 102 \n
【任務(wù)描述】 102 \n
【相關(guān)知識(shí)】 103 \n
一、數(shù)據(jù)庫(kù) 103 \n
二、數(shù)據(jù)倉(cāng)庫(kù) 104 \n
三、Hive 105 \n
【任務(wù)實(shí)施】 108 \n
一、下載并安裝Hive 108 \n
二、安裝并配置MySQL 110 \n
三、啟動(dòng)Hive 110 \n
四、創(chuàng)建數(shù)據(jù)庫(kù) 110 \n
五、創(chuàng)建數(shù)據(jù)表 111 \n
六、加載數(shù)據(jù) 112 \n
任務(wù)3-3　查詢工業(yè)大數(shù)據(jù) 112 \n
【任務(wù)描述】 112 \n
【相關(guān)知識(shí)】 112 \n
Hive的查詢語言 112 \n
【任務(wù)實(shí)施】 114 \n
一、準(zhǔn)備工作 114 \n
二、啟動(dòng)Hive 114 \n
三、打開數(shù)據(jù)庫(kù) 114 \n
四、查詢 114 \n
五、分組統(tǒng)計(jì) 115 \n
六、排序1 115 \n
七、排序2 115 \n
八、條件查詢 115 \n
九、輸出文件 116 \n
拓展知識(shí) 116 \n
一、數(shù)據(jù)倉(cāng)庫(kù)的建模 116 \n
二、數(shù)據(jù)倉(cāng)庫(kù)的分層 118 \n
項(xiàng)目4　 工業(yè)大數(shù)據(jù)建模 120 \n
【知識(shí)目標(biāo)】 120 \n
【技能目標(biāo)】 120 \n
【項(xiàng)目背景】 120 \n
任務(wù)4-1　使用UML建模工具 120 \n
【任務(wù)描述】 120 \n
【相關(guān)知識(shí)】 121 \n
一、UML 121 \n
— IX — \n
目　　錄 \n
二、轉(zhuǎn)換至關(guān)系模式 124 \n
三、UML工具 125 \n
【任務(wù)實(shí)施】 126 \n
一、安裝StarUML 126 \n
二、新建工程 126 \n
三、操作界面 127 \n
四、基本操作 128 \n
五、畫類 132 \n
六、畫關(guān)系 132 \n
任務(wù)4-2　建立設(shè)備信息模型 133 \n
【任務(wù)描述】 133 \n
【相關(guān)知識(shí)】 134 \n
一、信息模型 134 \n
二、設(shè)備信息 135 \n
【任務(wù)實(shí)施】 137 \n
一、新建工程 137 \n
二、添加類圖 137 \n
三、畫類 137 \n
四、添加屬性 137 \n
任務(wù)4-3　建立生產(chǎn)過程信息模型 138 \n
【任務(wù)描述】 138 \n
【相關(guān)知識(shí)】 138 \n
一、生產(chǎn)過程 138 \n
二、生產(chǎn)過程信息示例 140 \n
【任務(wù)實(shí)施】 141 \n
一、新建工程 141 \n
二、添加類圖 141 \n
三、畫類 141 \n
四、添加屬性 141 \n
五、添加關(guān)系 141 \n
拓展知識(shí)　數(shù)字孿生 142 \n
項(xiàng)目5　工業(yè)大數(shù)據(jù)分析 143 \n
【知識(shí)目標(biāo)】 143 \n
【技能目標(biāo)】 143 \n
【項(xiàng)目背景】 143 \n
任務(wù)5-1　使用大數(shù)據(jù)分析工具 143 \n
【任務(wù)描述】 143 \n
【相關(guān)知識(shí)】 144 \n
一、大數(shù)據(jù)分析過程 144 \n
二、大數(shù)據(jù)分析的關(guān)鍵 145 \n
三、基于大數(shù)據(jù)的機(jī)器學(xué)習(xí) 146 \n
【任務(wù)實(shí)施】 147 \n
一、下載并安裝Weka 147 \n
二、Weka的操作界面 149 \n
三、Weka的數(shù)據(jù)及類型 150 \n
四、Weka的文件格式 151 \n
任務(wù)5-2　使用回歸算法預(yù)測(cè) 152 \n
【任務(wù)描述】