零基礎(chǔ)學(xué)機(jī)器學(xué)習(xí)

引子：AI 菜鳥的挑戰(zhàn)—100 天上線智能預(yù)警系統(tǒng)
第1 課 機(jī)器學(xué)習(xí)快速上手路徑—唯有實(shí)戰(zhàn)
1．1 機(jī)器學(xué)習(xí)的家族譜
1．1．1 新手入門機(jī)器學(xué)習(xí)的3 個(gè)好消息
1．1．2 機(jī)器學(xué)習(xí)就是從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律
1．1．3 機(jī)器學(xué)習(xí)的類別—監(jiān)督學(xué)習(xí)及其他
1．1．4 機(jī)器學(xué)習(xí)的重要分支—深度學(xué)習(xí)
1．1．5 機(jī)器學(xué)習(xí)新熱點(diǎn)—強(qiáng)化學(xué)習(xí)
1．1．6 機(jī)器學(xué)習(xí)的兩大應(yīng)用場景—回歸與分類
1．1．7 機(jī)器學(xué)習(xí)的其他應(yīng)用場景
1．2 快捷的云實(shí)戰(zhàn)學(xué)習(xí)模式
1．2．1 在線學(xué)習(xí)平臺(tái)上的機(jī)器學(xué)習(xí)課程
1．2．2 用Jupyter Notebook 直接實(shí)戰(zhàn)
1．2．3 用Google Colab 開發(fā)第一個(gè)機(jī)器學(xué)習(xí)程序
1．2．4 在Kaggle 上參與機(jī)器學(xué)習(xí)競賽
1．2．5 在本機(jī)上“玩”機(jī)器學(xué)習(xí)
1．3 基本機(jī)器學(xué)習(xí)術(shù)語
1．3．1 特征
1．3．2 標(biāo)簽
1．3．3 模型
1．4 Python 和機(jī)器學(xué)習(xí)框架
1．4．1 為什么選擇用Python
1．4．2 機(jī)器學(xué)習(xí)和深度學(xué)習(xí)框架
1．5 機(jī)器學(xué)習(xí)項(xiàng)目實(shí)戰(zhàn)架構(gòu)
1．5．1 第1 個(gè)環(huán)節(jié)：問題定義
1．5．2 第2 個(gè)環(huán)節(jié)：數(shù)據(jù)的收集和預(yù)處理
1．5．3 第3 個(gè)環(huán)節(jié)：選擇機(jī)器學(xué)習(xí)模型
1．5．4 第4 個(gè)環(huán)節(jié)：訓(xùn)練機(jī)器，確定參數(shù)
1．5．5 第5 個(gè)環(huán)節(jié)：超參數(shù)調(diào)試和性能優(yōu)化
1．6 本課內(nèi)容小結(jié)
1．7 課后練習(xí)
第2 課 數(shù)學(xué)和Python 基礎(chǔ)知識(shí)—一天搞定
2．1 函數(shù)描述了事物間的關(guān)系
2．1．1 什么是函數(shù)
2．1．2 機(jī)器學(xué)習(xí)中的函數(shù)
2．2 捕捉函數(shù)的變化趨勢
2．2．1 連續(xù)性是求導(dǎo)的前提條件
2．2．2 通過求導(dǎo)發(fā)現(xiàn)y 如何隨x 而變
2．2．3 凸函數(shù)有一個(gè)全局最低點(diǎn)
2．3 梯度下降是機(jī)器學(xué)習(xí)的動(dòng)力之源
2．3．1 什么是梯度
2．3．2 梯度下降：下山的隱喻
2．3．3 梯度下降有什么用
2．4 機(jī)器學(xué)習(xí)的數(shù)據(jù)結(jié)構(gòu)—張量
2．4．1 張量的軸、階和形狀
2．4．2 標(biāo)量—0D（階）張量
2．4．3 向量—1D（階）張量
2．4．4 矩陣—2D（階）張量
2．4．5 序列數(shù)據(jù) —3D（階）張量
2．4．6 圖像數(shù)據(jù) —4D（階）張量
2．4．7 視頻數(shù)據(jù)—5D（階）張量
2．4．8 數(shù)據(jù)的維度和空間的維度
2．5 Python 的張量運(yùn)算
2．5．1 機(jī)器學(xué)習(xí)中張量的創(chuàng)建
2．5．2 通過索引和切片訪問張量中的數(shù)據(jù)
2．5．3 張量的整體操作和逐元素運(yùn)算
2．5．4 張量的變形和轉(zhuǎn)置
2．5．5 Python 中的廣播
2．5．6 向量和矩陣的點(diǎn)積運(yùn)算
2．6 機(jī)器學(xué)習(xí)的幾何意義
2．6．1 機(jī)器學(xué)習(xí)的向量空間
2．6．2 深度學(xué)習(xí)和數(shù)據(jù)流形
2．7 概率與統(tǒng)計(jì)研究了隨機(jī)事件的規(guī)律
2．7．1 什么是概率
2．7．2 正態(tài)分布
2．7．3 標(biāo)準(zhǔn)差和方差
2．8 本課內(nèi)容小結(jié)
2．9 課后練習(xí)
第3 課 線性回歸—預(yù)測網(wǎng)店的銷售額
3．1 問題定義：小冰的網(wǎng)店廣告該如何投放
3．2 數(shù)據(jù)的收集和預(yù)處理
3．2．1 收集網(wǎng)店銷售額數(shù)據(jù)
3．2．2 數(shù)據(jù)讀取和可視化
3．2．3 數(shù)據(jù)的相關(guān)分析
3．2．4 數(shù)據(jù)的散點(diǎn)圖
3．2．5 數(shù)據(jù)集清洗和規(guī)范化
3．2．6 拆分?jǐn)?shù)據(jù)集為訓(xùn)練集和測試集
3．2．7 把數(shù)據(jù)歸一化
3．3 選擇機(jī)器學(xué)習(xí)模型
3．3．1 確定線性回歸模型
3．3．2 假設(shè)（預(yù)測）函數(shù)—h （x ）
3．3．3 損失（誤差）函數(shù)—L （w ，b ）
3．4 通過梯度下降找到最佳參數(shù)
3．4．1 訓(xùn)練機(jī)器要有正確的方向
3．4．2 凸函數(shù)確保有最小損失點(diǎn)
3．4．3 梯度下降的實(shí)現(xiàn)
3．4．4 學(xué)習(xí)速率也很重要
3．5 實(shí)現(xiàn)一元線性回歸模型并調(diào)試超參數(shù)
3．5．1 權(quán)重和偏置的初始值
3．5．2 進(jìn)行梯度下降
3．5．3 調(diào)試學(xué)習(xí)速率
3．5．4 調(diào)試迭代次數(shù)
3．5．5 在測試集上進(jìn)行預(yù)測
3．5．6 用輪廓圖描繪L 、w 和b 的關(guān)系
3．6 實(shí)現(xiàn)多元線性回歸模型
3．6．1 向量化的點(diǎn)積運(yùn)算
3．6．2 多變量的損失函數(shù)和梯度下降
3．6．3 構(gòu)建一個(gè)線性回歸函數(shù)模型
3．6．4 初始化權(quán)重并訓(xùn)練機(jī)器
3．7 本課內(nèi)容小結(jié)
3．8 課后練習(xí)
第4 課 邏輯回歸—給病患和鳶尾花分類
4．1 問題定義：判斷客戶是否患病
4．2 從回歸問題到分類問題
4．2．1 機(jī)器學(xué)習(xí)中的分類問題
4．2．2 用線性回歸+ 階躍函數(shù)完成分類
4．2．3 通過Sigmiod 函數(shù)進(jìn)行轉(zhuǎn)換
4．2．4 邏輯回歸的假設(shè)函數(shù)
4．2．5 邏輯回歸的損失函數(shù)
4．2．6 邏輯回歸的梯度下降
4．3 通過邏輯回歸解決二元分類問題
4．3．1 數(shù)據(jù)的準(zhǔn)備與分析
4．3．2 建立邏輯回歸模型
4．3．3 開始訓(xùn)練機(jī)器
4．3．4 測試分類結(jié)果
4．3．5 繪制損失曲線
4．3．6 直接調(diào)用Sklearn 庫
4．3．7 啞特征的使用
4．4 問題定義：確定鳶尾花的種類
4．5 從二元分類到多元分類
4．5．1 以一對(duì)多
4．5．2 多元分類的損失函數(shù)
4．6 正則化、欠擬合和過擬合
4．6．1 正則化
4．6．2 欠擬合和過擬合
4．6．3 正則化參數(shù)
4．7 通過邏輯回歸解決多元分類問題
4．7．1 數(shù)據(jù)的準(zhǔn)備與分析
4．7．2 通過Sklearn 實(shí)現(xiàn)邏輯回歸的多元分類
4．7．3 正則化參數(shù)—C 值的選擇
4．8 本課內(nèi)容小結(jié)
4．9 課后練習(xí)
第5 課 深度神經(jīng)網(wǎng)絡(luò)—找出可能流失的客戶
5．1 問題定義：咖哥接手的金融項(xiàng)目
5．2 神經(jīng)網(wǎng)絡(luò)的原理
5．2．1 神經(jīng)網(wǎng)絡(luò)極簡史
5．2．2 傳統(tǒng)機(jī)器學(xué)習(xí)算法的局限性
5．2．3 神經(jīng)網(wǎng)絡(luò)的優(yōu)勢
5．3 從感知器到單隱層網(wǎng)絡(luò)
5．3．1 感知器是最基本的神經(jīng)元
5．3．2 假設(shè)空間要能覆蓋特征空間
5．3．3 單神經(jīng)元特征空間的局限性
5．3．4 分層：加入一個(gè)網(wǎng)絡(luò)隱層
5．4 用Keras 單隱層網(wǎng)絡(luò)預(yù)測客戶流失率
5．4．1 數(shù)據(jù)的準(zhǔn)備與分析
5．4．2 先嘗試邏輯回歸算法
5．4．3 單隱層神經(jīng)網(wǎng)絡(luò)的Keras 實(shí)現(xiàn)
5．4．4 訓(xùn)練單隱層神經(jīng)網(wǎng)絡(luò)
5．4．5 訓(xùn)練過程的圖形化顯示
5．5 分類數(shù)據(jù)不平衡問題：只看準(zhǔn)確率夠用嗎
5．5．1 混淆矩陣、精確率、召回率和F1 分?jǐn)?shù)
5．5．2 使用分類報(bào)告和混淆矩陣
5．5．3 特征縮放的魔力
5．5．4 閾值調(diào)整、欠采樣和過采樣
5．6 從單隱層神經(jīng)網(wǎng)絡(luò)到深度神經(jīng)網(wǎng)絡(luò)
5．6．1 梯度下降：正向傳播和反向傳播
5．6．2 深度神經(jīng)網(wǎng)絡(luò)中的一些可調(diào)超參數(shù)
5．6．3 梯度下降優(yōu)化器
5．6．4 激活函數(shù)：從Sigmoid 到ReLU
5．6．5 損失函數(shù)的選擇
5．6．6 評(píng)估指標(biāo)的選擇
5．7 用Keras 深度神經(jīng)網(wǎng)絡(luò)預(yù)測客戶流失率
5．7．1 構(gòu)建深度神經(jīng)網(wǎng)絡(luò)
5．7．2 換一換優(yōu)化器試試
5．7．3 神經(jīng)網(wǎng)絡(luò)正則化：添加Dropout 層
5．8 深度神經(jīng)網(wǎng)絡(luò)的調(diào)試及性能優(yōu)化
5．8．1 使用回調(diào)功能
5．8．2 使用TensorBoard
5．8．3 神經(jīng)網(wǎng)絡(luò)中的過擬合
5．8．4 梯度消失和梯度爆炸
5．9 本課內(nèi)容小結(jié)
5．10 課后練習(xí)
第6課 卷積神經(jīng)網(wǎng)絡(luò)—識(shí)別狗狗的圖像
6．1 問題定義：有趣的狗狗圖像識(shí)別
6．2 卷積網(wǎng)絡(luò)的結(jié)構(gòu)
6．3 卷積層的原理
6．3．1 機(jī)器通過“模式”進(jìn)行圖像識(shí)別
6．3．2 平移不變的模式識(shí)別
6．3．3 用滑動(dòng)窗口抽取局部特征
6．3．4 過濾器和響應(yīng)通道
6．3．5 對(duì)特征圖進(jìn)行卷積運(yùn)算
6．3．6 模式層級(jí)結(jié)構(gòu)的形成
6．3．7 卷積過程中的填充和步幅
6．4 池化層的功能
6．5 用卷積網(wǎng)絡(luò)給狗狗圖像分類
6．5．1 圖像數(shù)據(jù)的讀入
6．5．2 構(gòu)建簡單的卷積網(wǎng)絡(luò)
6．5．3 訓(xùn)練網(wǎng)絡(luò)并顯示誤差和準(zhǔn)確率
6．6 卷積網(wǎng)絡(luò)性能優(yōu)化
6．6．1 第一招：更新優(yōu)化器并設(shè)置學(xué)習(xí)速率
6．6．2 第二招：添加Dropout 層
6．6．3 “大殺器”：進(jìn)行數(shù)據(jù)增強(qiáng)
6．7 卷積網(wǎng)絡(luò)中特征通道的可視化
6．8 各種大型卷積網(wǎng)絡(luò)模型
6．8．1 經(jīng)典的VGGNet
6．8．2 采用Inception 結(jié)構(gòu)的GoogLeNet
6．8．3 殘差網(wǎng)絡(luò)ResNet
6．9 本課內(nèi)容小結(jié)
6．10 課后練習(xí)
第7 課 循環(huán)神經(jīng)網(wǎng)絡(luò)—鑒定留言及探索系外行星
7．1 問題定義：鑒定評(píng)論文本的情感屬性
7．2 循環(huán)神經(jīng)網(wǎng)絡(luò)的原理和結(jié)構(gòu)
7．2．1 什么是序列數(shù)據(jù)
7．2．2 前饋神經(jīng)網(wǎng)絡(luò)處理序列數(shù)據(jù)的局限性
7．2．3 循環(huán)神經(jīng)網(wǎng)絡(luò)處理序列問題的策略
7．2．4 循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
7．3 原始文本如何轉(zhuǎn)化成向量數(shù)據(jù)
7．3．1 文本的向量化：分詞
7．3．2 通過One-hot 編碼分詞
7．3．3 詞嵌入
7．4 用SimpleRNN 鑒定評(píng)論文本
7．4．1 用Tokenizer 給文本分詞
7．4．2 構(gòu)建包含詞嵌入的SimpleRNN
7．4．3 訓(xùn)練網(wǎng)絡(luò)并查看驗(yàn)證準(zhǔn)確率
7．5 從SimpleRNN 到LSTM
7．5．1 SimpleRNN 的局限性
7．5．2 LSTM 網(wǎng)絡(luò)的記憶傳送帶
7．6 用LSTM 鑒定評(píng)論文本
7．7 問題定義：太陽系外哪些恒星有行星環(huán)繞
7．8 用循環(huán)神經(jīng)網(wǎng)絡(luò)處理時(shí)序問題
7．8．1 時(shí)序數(shù)據(jù)的導(dǎo)入與處理
7．8．2 建模：CNN 和RNN 的組合
7．8．3 輸出閾值的調(diào)整
7．8．4 使用函數(shù)式API
7．9 本課內(nèi)容小結(jié)
7．10 課后練習(xí)
第8 課 經(jīng)典算法“寶刀未老”
8．1 K 最近鄰
8．2 支持向量機(jī)
8．3 樸素貝葉斯
8．4 決策樹
8．4．1 熵和特征節(jié)點(diǎn)的選擇
8．4．2 決策樹的深度和剪枝
8．5 隨機(jī)森林
8．6 如何選擇最佳機(jī)器學(xué)習(xí)算法
8．7 用網(wǎng)格搜索超參數(shù)調(diào)優(yōu)
8．8 本課內(nèi)容小結(jié)
8．9 課后練習(xí)
第9 課 集成學(xué)習(xí)“笑傲江湖”
9．1 偏差和方差—機(jī)器學(xué)習(xí)性能優(yōu)化的風(fēng)向標(biāo)
9．1．1 目標(biāo)：降低偏差與方差
9．1．2 數(shù)據(jù)集大小對(duì)偏差和方差的影響
9．1．3 預(yù)測空間的變化帶來偏差和方差的變化
9．2 Bagging 算法—多個(gè)基模型的聚合
9．2．1 決策樹的聚合
9．2．2 從樹的聚合到隨機(jī)森林
9．2．3 從隨機(jī)森林到極端隨機(jī)森林
9．2．4 比較決策樹、樹的聚合、隨機(jī)森林、極端隨機(jī)森林的效率
9．3 Boosting 算法—鍛煉弱模型的“肌肉”
9．3．1 AdaBoost 算法
9．3．2 梯度提升算法
9．3．3 XGBoost 算法
9．3．4 Bagging 算法與Boosting 算法的不同之處
9．4 Stacking/Blending 算法—以預(yù)測結(jié)果作為新特征
9．4．1 Stacking 算法
9．4．2 Blending 算法
9．5 Voting/Averaging 算法—集成基模型的預(yù)測結(jié)果
9．5．1 通過Voting 進(jìn)行不同算法的集成
9．5．2 通過Averaging 集成不同算法的結(jié)果
9．6 本課內(nèi)容小結(jié)
9．7 課后練習(xí)
第10 課 監(jiān)督學(xué)習(xí)之外—其他類型的機(jī)器學(xué)習(xí)
10．1 無監(jiān)督學(xué)習(xí)—聚類
10．1．1 K 均值算法
10．1．2 K 值的選?。菏种夥?
10．1．3 用聚類輔助理解營銷數(shù)據(jù)
10．2 無監(jiān)督學(xué)習(xí)—降維
10．2．1 PCA 算法
10．2．2 通過PCA 算法進(jìn)行圖像特征采樣
10．3 半監(jiān)督學(xué)習(xí)
10．3．1 自我訓(xùn)練
10．3．2 合作訓(xùn)練
10．3．3 半監(jiān)督聚類
10．4 自監(jiān)督學(xué)習(xí)
10．4．1 潛隱空間
10．4．2 自編碼器
10．4．3 變分自編碼器
10．5 生成式學(xué)習(xí)
10．5．1 機(jī)器學(xué)習(xí)的生成式
10．5．2 生成式對(duì)抗網(wǎng)絡(luò)
10．6 本課內(nèi)容小結(jié)
10．7 課后練習(xí)
第11 課 強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn)—咖哥的冰湖挑戰(zhàn)
11．1 問題定義：幫助智能體完成冰湖挑戰(zhàn)
11．2 強(qiáng)化學(xué)習(xí)基礎(chǔ)知識(shí)
11．2．1 延遲滿足
11．2．2 更復(fù)雜的環(huán)境
11．2．3 強(qiáng)化學(xué)習(xí)中的元素
11．2．4 智能體的視角
11．3 強(qiáng)化學(xué)習(xí)基礎(chǔ)算法Q-Learning 詳解
11．3．1 迷宮游戲的示例
11．3．2 強(qiáng)化學(xué)習(xí)中的局部最優(yōu)
11．3．3 ε -Greedy 策略
11．3．4 Q-Learning 算法的偽代碼
11．4 用Q-Learning 算法來解決冰湖挑戰(zhàn)問題
11．4．1 環(huán)境的初始化
11．4．2 Q-Learning 算法的實(shí)現(xiàn)
11．4．3 Q-Table 的更新過程
11．5 從Q-Learning 算法到SARSA算法
11．5．1 異策略和同策略
11．5．2 SARSA 算法的實(shí)現(xiàn)
11．6 用SARSA 算法來解決冰湖挑戰(zhàn)問題
11．7 Deep Q Network 算法：用深度網(wǎng)絡(luò)實(shí)現(xiàn)Q-Learning
11．8 本課內(nèi)容小結(jié)
11．9 課后練習(xí)
尾聲：如何實(shí)現(xiàn)機(jī)器學(xué)習(xí)中的知識(shí)遷移及持續(xù)性的學(xué)習(xí)
練習(xí)答案