Python金融大數據挖掘與分析全流程詳解

第1章　Python基礎
1.1　Python安裝與第一個Python程序
1.1.1　安裝Python
1.1.2　編寫第一個Python程序
1.1.3　PyCharm的安裝與使用
1.2　Python基礎知識
1.2.1　變量、行、縮進與注釋
1.2.2　數據類型：數字與字符串
1.2.3　數據類型：列表與字典、元組與集合
1.2.4　運算符
1.3　Python語句
1.3.1　if條件語句
1.3.2　for循環(huán)語句
1.3.3　while循環(huán)語句
1.3.4　try/except異常處理語句
1.4　函數與庫
1.4.1　函數的定義與調用
1.4.2　函數的返回值與作用域
1.4.3　常用基本函數介紹
1.4.4　庫


第2章　金融數據挖掘之爬蟲技術基礎
2.1　爬蟲技術基礎1—網頁結構基礎
2.1.1　查看網頁源代碼—F12鍵
2.1.2　查看網頁源代碼—右鍵菜單
2.1.3　網址構成及http與https協議
2.1.4　網頁結構初步了解
2.2　爬蟲技術基礎2—網頁結構進階
2.2.1　HTML基礎知識1—我的第一個網頁
2.2.2　HTML基礎知識2—基礎結構
2.2.3　HTML基礎知識3—標題、段落、鏈接
2.2.4　HTML基礎知識4—區(qū)塊
2.2.5　HTML基礎知識5—類與id
2.3　初步實戰(zhàn)—百度新聞源代碼獲取
2.3.1　獲取網頁源代碼
2.3.2　分析網頁源代碼信息
2.4　爬蟲技術基礎3—正則表達式
2.4.1　正則表達式基礎1—findall()函數
2.4.2　正則表達式基礎2—非貪婪匹配之(.*?)
2.4.3　正則表達式基礎3—非貪婪匹配之.*?
2.4.4　正則表達式基礎4—自動考慮換行的修飾符re.S
2.4.5　正則表達式基礎5—知識點補充


第3章　金融數據挖掘案例實戰(zhàn)1
3.1　提取百度新聞標題、網址、日期及來源
3.1.1　獲取網頁源代碼
3.1.2　編寫正則表達式提取新聞信息
3.1.3　數據清洗并打印輸出
3.2　批量獲取多家公司的百度新聞并生成數據報告
3.2.1　批量爬取多家公司的百度新聞
3.2.2　自動生成輿情數據報告文本文件
3.3　異常處理及24小時實時數據挖掘實戰(zhàn)
3.3.1　異常處理實戰(zhàn)
3.3.2　24小時實時爬取實戰(zhàn)
3.4　按時間順序爬取及批量爬取多頁內容
3.4.1　按時間順序爬取百度新聞
3.4.2　一次性批量爬取多頁內容
3.5　搜狗新聞與新浪財經數據挖掘實戰(zhàn)
3.5.1　搜狗新聞數據挖掘實戰(zhàn)
3.5.2　新浪財經數據挖掘實戰(zhàn)


第4章　數據庫詳解及實戰(zhàn)
4.1　MySQL數據庫簡介及安裝
4.2　MySQL數據庫基礎
4.2.1　MySQL數據庫管理平臺phpMyAdmin介紹
4.2.2　創(chuàng)建數據庫及數據表
4.2.3　數據表基本操作
4.3　Python與MySQL數據庫的交互
4.3.1　安裝PyMySQL庫
4.3.2　用Python連接數據庫
4.3.3　用Python存儲數據到數據庫
4.3.4　用Python在數據庫中查找并提取數據
4.3.5　用Python從數據庫中刪除數據
4.4　案例實戰(zhàn)：把金融數據存入數據庫


第5章 數據清洗優(yōu)化及數據評分系統(tǒng)搭建
5.1　深度分析—數據去重及清洗優(yōu)化
5.1.1　數據去重
5.1.2　常見的數據清洗手段及日期格式統(tǒng)一
5.1.3　文本內容深度過濾—剔除噪聲數據
5.2　數據亂碼的處理
5.2.1　編碼分析
5.2.2　重新編碼及解碼
5.2.3　解決亂碼問題的經驗方法
5.3　輿情數據評分系統(tǒng)搭建
5.3.1　輿情數據評分系統(tǒng)版本1—根據標題評分
5.3.2　輿情數據評分系統(tǒng)版本2—根據正文內容評分
5.3.3　輿情數據評分系統(tǒng)版本3—解決亂碼問題
5.3.4　輿情數據評分系統(tǒng)版本4—處理非相關信息
5.4　完整的百度新聞數據挖掘系統(tǒng)搭建
5.4.1　將輿情數據評分存入數據庫
5.4.2　百度新聞數據挖掘系統(tǒng)代碼整合
5.4.3　從數據庫匯總每日評分


第6章 數據分析利器：NumPy與pandas庫
6.1　NumPy庫基礎
6.1.1　NumPy庫與數組
6.1.2　創(chuàng)建數組的幾種方式
6.2　pandas庫基礎
6.2.1　二維數據表格DataFrame的創(chuàng)建與索引的修改
6.2.2　Excel工作簿等文件的讀取和寫入
6.2.3　數據的讀取與編輯
6.2.4　數據表的拼接
6.3　利用pandas庫導出輿情數據評分
6.3.1　匯總輿情數據評分
6.3.2　導出輿情數據評分表格


第7章 數據可視化與數據相關性分析
7.1　用Tushare庫調取股價數據
7.1.1　Tushare庫的基本用法
7.1.2　匹配輿情數據評分與股價數據
7.2　輿情數據評分與股價數據的可視化
7.2.1　數據可視化基礎
7.2.2　數據可視化實戰(zhàn)
7.3　輿情數據評分與股價數據相關性分析
7.3.1　皮爾遜相關系數
7.3.2　相關性分析實戰(zhàn)


第8章 金融數據挖掘之爬蟲技術進階
8.1　爬蟲技術進階1—IP代理簡介
8.1.1　IP代理的工作原理
8.1.2　IP代理的使用方法
8.2　爬蟲技術進階2—Selenium庫詳解
8.2.1　網絡數據挖掘的難點
8.2.2　模擬瀏覽器ChromeDriver的下載與安裝
8.2.3　Selenium庫的安裝
8.2.4　Selenium庫的使用


第9章 金融數據挖掘案例實戰(zhàn)2
9.1　新浪財經股票實時數據挖掘實戰(zhàn)
9.1.1　獲取網頁源代碼
9.1.2　數據提取
9.2　東方財富網數據挖掘實戰(zhàn)
9.2.1　獲取網頁源代碼
9.2.2　編寫正則表達式提取數據
9.2.3　數據清洗及打印輸出
9.2.4　函數定義及調用
9.3　裁判文書網數據挖掘實戰(zhàn)
9.4　巨潮資訊網數據挖掘實戰(zhàn)
9.4.1　獲取網頁源代碼
9.4.2　編寫正則表達式提取數據
9.4.3　數據清洗及打印輸出
9.4.4　函數定義及調用


第10章 通過PDF文本解析上市公司理財公告
10.1　PDF文件批量下載實戰(zhàn)
10.1.1　爬取多頁內容
10.1.2　自動篩選所需內容
10.1.3　理財公告PDF文件的自動批量下載
10.2　PDF文本解析基礎
10.2.1　用pdfplumber庫提取文本內容
10.2.2　用pdfplumber庫提取表格內容
10.3　PDF文本解析實戰(zhàn)—尋找合適的理財公告
10.3.1　遍歷文件夾里所有的PDF文件
10.3.2　批量解析每一個PDF文件
10.3.3　將合格的PDF文件自動歸檔


第11章　郵件提醒系統(tǒng)搭建
11.1　用Python自動發(fā)送郵件
11.1.1　通過騰訊QQ郵箱發(fā)送郵件
11.1.2　通過網易163郵箱發(fā)送郵件
11.1.3　發(fā)送HTML格式的郵件
11.1.4　發(fā)送郵件附件
11.2　案例實戰(zhàn)：定時發(fā)送數據分析報告
11.2.1　用Python提取數據并發(fā)送數據分析報告郵件
11.2.2　用Python實現每天定時發(fā)送郵件


第12章　基于評級報告的投資決策分析
12.1　獲取券商研報網站的表格數據
12.1.1　表格數據的常規(guī)獲取方法
12.1.2　用Selenium庫爬取和訊研報網表格數據
12.2　pandas庫的高階用法
12.2.1　重復值和缺失值處理
12.2.2　用groupby()函數分組匯總數據
12.2.3　用pandas庫進行批量處理
12.3　評估券商分析師預測準確度
12.3.1　讀取分析師評級報告數據進行數據預處理
12.3.2　用Tushare庫計算股票收益率
12.3.3　計算平均收益率并進行分析師預測準確度排名
12.4　策略延伸
12.4.1　漲停板的考慮
12.4.2　按分析師查看每只股票的收益率
12.4.3　計算多階段股票收益率


第13章　用Python生成Word文檔
13.1　用Python創(chuàng)建Word文檔的基礎知識
13.1.1　初識python-docx庫
13.1.2　python-docx庫的基本操作
13.2　用Python創(chuàng)建Word文檔的進階知識
13.2.1　設置中文字體
13.2.2　在段落中新增文字
13.2.3　設置字體大小及顏色
13.2.4　設置段落格式
13.2.5　設置表格樣式
13.2.6　設置圖片樣式
13.3　案例實戰(zhàn)：自動生成數據分析報告Word文檔


第14章　基于股票信息及其衍生變量的數據分析
14.1　策略基本思路
14.2　獲取股票基本信息及衍生變量數據
14.2.1　獲取股票基本信息數據
14.2.2　獲取股票衍生變量數據
14.2.3　通過相關性分析選取合適的衍生變量
14.2.4　數據表優(yōu)化及代碼匯總
14.3　數據可視化呈現
14.4　用xlwings庫生成Excel工作簿
14.4.1　xlwings庫的基本用法
14.4.2　案例實戰(zhàn)：自動生成Excel工作簿報告
14.5　策略深化思路


第15章　云服務器部署實戰(zhàn)
15.1　云服務器的購買與配置
15.2　程序的云端部署
15.2.1　安裝運行程序所需的軟件
15.2.2　實現程序24小時不間斷運行


第16章　機器學習之客戶違約預測模型搭建
16.1　機器學習在金融領域的應用
16.2　決策樹模型的基本原理
16.2.1　決策樹模型簡介
16.2.2　決策樹模型的建樹依據
16.3　案例實戰(zhàn)：客戶違約預測模型搭建
16.3.1　模型搭建
16.3.2　模型預測及評估
16.3.3　模型可視化呈現