Python自動化運維快速入門

目 錄

第一篇 Python與基礎(chǔ)運維
第1章 自動化運維與Python 3
1.1 自動化運維概述 3
1.1.1 自動化運維勢在必行 3
1.1.2 什么是成熟的自動化運維平臺 4
1.1.3 為什么選擇Python進(jìn)行運維 4
1.2 初識Python 8
1.3 Python環(huán)境搭建 8
1.3.1 Windows系統(tǒng)下的Python安裝 8
1.3.2 Linux系統(tǒng)下的Python安裝 11
1.4 開發(fā)工具介紹 13
1.4.1 PyCharm 14
1.4.2 Vim 18
1.5 Python基礎(chǔ)語法 24
1.5.1 數(shù)字運算 24
1.5.2 字符串 25
1.5.3 列表與元組 30
1.5.4 字典 33
1.5.5 集合 35
1.5.6 函數(shù) 36
1.5.7 條件控制與循環(huán)語句 38
1.5.8 可迭代對象、迭代器和生成器 42
1.5.9 對象賦值、淺復(fù)制、深復(fù)制 45
1.6 多個例子實戰(zhàn)Python編程 49
1.6.1 實戰(zhàn)1：九九乘法表 49
1.6.2 實戰(zhàn)2：發(fā)放獎金的梯度 50
1.6.3 實戰(zhàn)3：遞歸獲取目錄下文件的修改時間 51
1.6.4 實戰(zhàn)4：兩行代碼查找替換3或5的倍數(shù) 53
1.6.5 實戰(zhàn)5：一行代碼的實現(xiàn) 53
1.7 pip工具的使用 54

第2章 基礎(chǔ)運維 57
2.1 文本處理 57
2.1.1 Python編碼解碼 57
2.1.2 文件操作 61
2.1.3 讀寫配置文件 68
2.1.4 解析XML文件 70
2.2 系統(tǒng)信息監(jiān)控 76
2.3 文件系統(tǒng)監(jiān)控 82
2.4 執(zhí)行外部命令subprocess 84
2.4.1 subprocess.run()方法 84
2.4.2 Popen類 86
2.4.3 其他方法 87
2.5 日志記錄 87
2.5.1 日志模塊簡介 88
2.5.2 logging模塊的配置與使用 89
2.6 搭建FTP服務(wù)器與客戶端 95
2.6.1 搭建FTP服務(wù)器 95
2.6.2 編寫FTP客戶端程序 99
2.7 郵件提醒 100
2.7.1 發(fā)送郵件 100
2.7.2 接收郵件 105
2.7.3 將報警信息實時發(fā)送至郵箱 107
2.8 微信提醒 112
2.8.1 處理微信消息 112
2.8.2 將警告信息發(fā)送至微信 116

第二篇 中級運維
第3章 實戰(zhàn)多進(jìn)程 121
3.1 創(chuàng)建進(jìn)程的類Process 121
3.2 進(jìn)程并發(fā)控制之Semaphore 125
3.3 進(jìn)程同步之Lock 126
3.4 進(jìn)程同步之Event 128
3.5 進(jìn)程優(yōu)先級隊列Queue 130
3.6 多進(jìn)程之進(jìn)程池Pool 131
3.7 多進(jìn)程之?dāng)?shù)據(jù)交換Pipe 132
第4章 實戰(zhàn)多線程 135
4.1 Python多線程簡介 135
4.2 多線程編程之threading模塊 139
4.3 多線程同步之Lock（互斥鎖） 142
4.4 多線程同步之Semaphore（信號量） 144
4.5 多線程同步之Condition 145
4.6 多線程同步之Event 146
4.7 線程優(yōu)先級隊列（queue） 148
4.8 多線程之線程池pool 149
第5章 實戰(zhàn)協(xié)程 151
5.1 定義協(xié)程 151
5.2 并發(fā) 153
5.3 異步請求 154
第6章 自動化運維工具Ansible 159
6.1 Ansible安裝 159
6.2 Ansible配置 160
6.3 inventory文件 161
6.4 ansible ad-hoc模式 163
6.5 Ansible Playbooks模式 171
第7章 定時任務(wù)模塊APScheduler 175
7.1 安裝及基本概念 175
7.1.1 APScheduler的安裝 175
7.1.2 APScheduler涉及的幾個概念 175
7.1.3 APScheduler的工作流程 176
7.2 配置調(diào)度器 178
7.3 啟動調(diào)度器 181
7.4 調(diào)度器事件監(jiān)聽 185
第8章 執(zhí)行遠(yuǎn)程命令（Paramiko） 188
8.1 介紹幾個重要的類 188
8.1.1 通道（Channel）類 188
8.1.2 傳輸（Transport）類 189
8.1.3 SSHClient類 190
8.2 Paramiko的使用 191
8.2.1 安裝 191
8.2.2 基于用戶名和密碼的SSHClient方式登錄 191
8.2.3 基于用戶名和密碼的Transport方式登錄并實現(xiàn)上傳與下載 192
8.2.4 基于公鑰密鑰的SSHClient方式登錄 193
8.2.5 基于公鑰密鑰的Transport方式登錄 194
第9章 分布式任務(wù)隊列Celery 195
9.1 Celery簡介 195
9.2 安裝Celery 197
9.3 安裝RabbitMQ或Redis 198
9.3.1 安裝RabbitMQ 198
9.3.2 安裝Redis 199
9.4 第一個Celey程序 200
9.5 第一個工程項目 203
9.6 Celery架構(gòu) 207
9.7 Celery 隊列 208
9.8 Celery Beat任務(wù)調(diào)度 211
9.9 Celery 遠(yuǎn)程調(diào)用 212
9.10 監(jiān)控與管理 215
9.10.1 Celery命令行實用工具 215
9.10.2 Web實時監(jiān)控工具Flower 218
9.10.3 Flower的使用方法 219
第10章 任務(wù)調(diào)度神器Airflow 223
10.1 Airflow簡介 223
10.1.1 DAG 224
10.1.2 操作符——Operators 224
10.1.3 時區(qū)——timezone 225
10.1.4 Web服務(wù)器——webserver 225
10.1.5 調(diào)度器——schduler 226
10.1.6 工作節(jié)點——worker 226
10.1.7 執(zhí)行器——Executor 226
10.2 Airflow安裝與部署 226
10.2.1 在線安裝 227
10.2.2 離線安裝 229
10.2.3 部署與配置（以SQLite為知識庫） 229
10.2.4 指定依賴關(guān)系 234
10.2.5 啟動scheduler 234
10.3 Airflow配置MySQL知識庫和LocalExecutor 235
10.4 Airflow配置Redis和CeleryExecutor 242
10.5 Airflow任務(wù)開發(fā)Operators 244
10.5.1 Operators簡介 245
10.5.2 BaseOperator 簡介 245
10.5.3 BashOperator的使用 245
10.5.4 PythonOperator的使用 247
10.5.5 SSHOperator的使用 248
10.5.6 HiveOperator的使用 249
10.5.7 如何自定義Operator 250
10.6 Airflow集群、高可用部署 250
10.6.1 Airflow的四大守護(hù)進(jìn)程 250
10.6.2 Airflow的守護(hù)進(jìn)程是如何一起工作的 251
10.6.3 Airflow單節(jié)點部署 252
10.6.4 Airflow多節(jié)點（集群）部署 252
10.6.5 擴展worker節(jié)點 253
10.6.6 擴展Master節(jié)點 253
10.6.7 Airflow集群部署的具體步驟 255

第三篇 高級運維
第11章 Docker容器技術(shù)介紹 259
11.1 Docker概述 259
11.2 Docker解決什么問題 260
11.3 Docker的安裝部署與使用 261
11.3.1 安裝Docker引擎 261
11.3.2 使用Docker 262
11.3.3 Docker命令的使用方法 263
11.4 卷的概念 266
11.5 數(shù)據(jù)卷共享 267
11.6 自制鏡像并發(fā)布 267
11.7 Docker網(wǎng)絡(luò) 268
11.7.1 Docker的網(wǎng)絡(luò)模式 269
11.7.2 Docker網(wǎng)絡(luò)端口映射 270
11.8 Docker小結(jié) 270