工業(yè)大數(shù)據采集、處理與應用

前言 \n
二維碼索引 \n
緒論 1 \n
項目1　了解工業(yè)大數(shù)據 4 \n
【知識目標】 4 \n
【技能目標】 4 \n
【項目背景】 4 \n
任務1-1　認識工業(yè)大數(shù)據 4 \n
【任務描述】 4 \n
【相關知識】 5 \n
一、大數(shù)據的概念和特征 5 \n
二、大數(shù)據的分類 6 \n
三、數(shù)據規(guī)模的度量 7 \n
【任務實施】 7 \n
一、認識工業(yè)大數(shù)據的來源 7 \n
二、認識工業(yè)大數(shù)據的特征 10 \n
三、工業(yè)大數(shù)據實例 11 \n
任務1-2　 對工業(yè)大數(shù)據及其應用 \n
進行分類 14 \n
【任務描述】 14 \n
【相關知識】 14 \n
一、工業(yè)企業(yè)的運行流程 14 \n
二、工業(yè)大數(shù)據的分類 15 \n
三、工業(yè)大數(shù)據的應用場景 17 \n
【任務實施】 19 \n
一、認識工業(yè)大數(shù)據的應用類型 19 \n
二、工業(yè)大數(shù)據應用實例 20 \n
任務1-3　了解工業(yè)大數(shù)據系統(tǒng)架構 23 \n
【任務描述】 23 \n
【相關知識】 24 \n
一、靜態(tài)數(shù)據和流數(shù)據 24 \n
二、批量計算和流式計算 24 \n
【任務實施】 26 \n
一、認識工業(yè)大數(shù)據的架構 26 \n
二、認識Hadoop 28 \n
三、認識Hadoop分布式文件系統(tǒng) 28 \n
四、認識并行計算框架MapReduce 29 \n
五、安裝Linux操作系統(tǒng) 30 \n
六、安裝Hadoop 30 \n
拓展知識　大數(shù)據技術框架 32 \n
項目2　工業(yè)大數(shù)據采集 36 \n
【知識目標】 36 \n
【技能目標】 36 \n
【項目背景】 36 \n
任務2-1　了解工業(yè)數(shù)據采集 36 \n
【任務描述】 36 \n
【相關知識】 37 \n
一、工業(yè)現(xiàn)場網絡 37 \n
二、工業(yè)數(shù)據采集常見的網絡協(xié)議 39 \n
三、工業(yè)數(shù)據的采集方式 42 \n
四、數(shù)據的存儲 45 \n
【任務實施】 45 \n
一、準備安裝IoTHub 45 \n
二、安裝Sentinel Runtime 45 \n
三、安裝IoTHub 46 \n
任務2-2　采集PLC數(shù)據 48 \n
【任務描述】 48 \n
【相關知識】 48 \n
一、PLC的組成 48 \n
二、PLC的特點 49 \n
三、PLC連接的信號類型 49 \n
四、PLC的通信 50 \n
【任務實施】 50 \n
一、安裝Agent 51 \n
二、創(chuàng)建并連接控制器 53 \n
三、定義變量 56 \n
目 錄 \n
— VIII — \n
工業(yè)大數(shù)據采集、處理與應用 \n
四、數(shù)據存儲 58 \n
任務2-3　采集PTL數(shù)據 65 \n
【任務描述】 65 \n
【相關知識】 66 \n
一、PTL系統(tǒng)的構成 66 \n
二、PTL系統(tǒng)的特點 68 \n
三、PTL系統(tǒng)的功能 68 \n
四、PTL系統(tǒng)的結構 68 \n
【任務實施】 69 \n
一、安裝Agent 70 \n
二、創(chuàng)建并連接控制器 71 \n
三、查看變量 74 \n
四、任務下發(fā) 75 \n
五、數(shù)據存儲 77 \n
拓展知識　ERP與MES的集成 78 \n
項目3　工業(yè)大數(shù)據預處理 81 \n
【知識目標】 81 \n
【技能目標】 81 \n
【項目背景】 81 \n
任務3-1　清洗、轉換、加載工業(yè)大數(shù)據 81 \n
【任務描述】 81 \n
【相關知識】 83 \n
一、ETL的概念 83 \n
二、數(shù)據抽取 83 \n
三、數(shù)據清洗 84 \n
四、數(shù)據轉換 85 \n
五、數(shù)據加載 85 \n
六、ETL工具Kettle 86 \n
【任務實施】 89 \n
一、下載、安裝并啟動Kettle 90 \n
二、分析數(shù)據問題 91 \n
三、處理流程設計 93 \n
四、讀入數(shù)據 94 \n
五、過濾數(shù)據 97 \n
六、補缺失值 98 \n
七、替換數(shù)據列 99 \n
八、值映射 100 \n
九、輸出到文件 101 \n
十、執(zhí)行轉換 102 \n
十一、保存轉換文件 102 \n
任務3-2　建立數(shù)據倉庫 102 \n
【任務描述】 102 \n
【相關知識】 103 \n
一、數(shù)據庫 103 \n
二、數(shù)據倉庫 104 \n
三、Hive 105 \n
【任務實施】 108 \n
一、下載并安裝Hive 108 \n
二、安裝并配置MySQL 110 \n
三、啟動Hive 110 \n
四、創(chuàng)建數(shù)據庫 110 \n
五、創(chuàng)建數(shù)據表 111 \n
六、加載數(shù)據 112 \n
任務3-3　查詢工業(yè)大數(shù)據 112 \n
【任務描述】 112 \n
【相關知識】 112 \n
Hive的查詢語言 112 \n
【任務實施】 114 \n
一、準備工作 114 \n
二、啟動Hive 114 \n
三、打開數(shù)據庫 114 \n
四、查詢 114 \n
五、分組統(tǒng)計 115 \n
六、排序1 115 \n
七、排序2 115 \n
八、條件查詢 115 \n
九、輸出文件 116 \n
拓展知識 116 \n
一、數(shù)據倉庫的建模 116 \n
二、數(shù)據倉庫的分層 118 \n
項目4　 工業(yè)大數(shù)據建模 120 \n
【知識目標】 120 \n
【技能目標】 120 \n
【項目背景】 120 \n
任務4-1　使用UML建模工具 120 \n
【任務描述】 120 \n
【相關知識】 121 \n
一、UML 121 \n
— IX — \n
目　　錄 \n
二、轉換至關系模式 124 \n
三、UML工具 125 \n
【任務實施】 126 \n
一、安裝StarUML 126 \n
二、新建工程 126 \n
三、操作界面 127 \n
四、基本操作 128 \n
五、畫類 132 \n
六、畫關系 132 \n
任務4-2　建立設備信息模型 133 \n
【任務描述】 133 \n
【相關知識】 134 \n
一、信息模型 134 \n
二、設備信息 135 \n
【任務實施】 137 \n
一、新建工程 137 \n
二、添加類圖 137 \n
三、畫類 137 \n
四、添加屬性 137 \n
任務4-3　建立生產過程信息模型 138 \n
【任務描述】 138 \n
【相關知識】 138 \n
一、生產過程 138 \n
二、生產過程信息示例 140 \n
【任務實施】 141 \n
一、新建工程 141 \n
二、添加類圖 141 \n
三、畫類 141 \n
四、添加屬性 141 \n
五、添加關系 141 \n
拓展知識　數(shù)字孿生 142 \n
項目5　工業(yè)大數(shù)據分析 143 \n
【知識目標】 143 \n
【技能目標】 143 \n
【項目背景】 143 \n
任務5-1　使用大數(shù)據分析工具 143 \n
【任務描述】 143 \n
【相關知識】 144 \n
一、大數(shù)據分析過程 144 \n
二、大數(shù)據分析的關鍵 145 \n
三、基于大數(shù)據的機器學習 146 \n
【任務實施】 147 \n
一、下載并安裝Weka 147 \n
二、Weka的操作界面 149 \n
三、Weka的數(shù)據及類型 150 \n
四、Weka的文件格式 151 \n
任務5-2　使用回歸算法預測 152 \n
【任務描述】