強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn)：從零開始制作AlphaGo圍棋（微課視頻版）

部分計(jì)算機(jī)圍棋的基礎(chǔ)知識和傳統(tǒng)的智能算法
第1章圍棋： 黑白的世界
1.1什么是圍棋
1.2圍棋的規(guī)則
1.3勝負(fù)的判定
1.4圍棋棋手的棋力
1.5計(jì)算機(jī)眼中的圍棋
1.5.1SGF文件
1.5.2GTP
第2章實(shí)現(xiàn)一個圍棋軟件
2.1軟件版本
2.2圍棋軟件的組成
2.3佐布里斯特散列
2.4圍棋智能體
2.5圍棋的棋盤
2.6引入裁判
2.7讓智能體下棋
第3章傳統(tǒng)的棋類智能
3.1極小化極大算法
3.2AlphaBeta剪枝算法
3.3棋類局面評估
3.4蒙特卡羅模擬
3.4.1蒙特卡羅算法
3.4.2蒙特卡羅樹搜索
3.4.3蒙特卡羅算法改進(jìn)
3.4.4需要注意的問題
3.5監(jiān)督學(xué)習(xí)
3.6傳統(tǒng)方法的討論
第二部分基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)
第4章機(jī)器學(xué)習(xí)入門
4.1人工神經(jīng)網(wǎng)絡(luò)
4.1.1神經(jīng)元
4.1.2常見的激活函數(shù)
4.1.3多層感知器
4.1.4卷積神經(jīng)網(wǎng)絡(luò)
4.1.5反向傳播算法
4.1.6小批量訓(xùn)練法
4.1.7殘差網(wǎng)絡(luò)
4.1.8多層感知器的應(yīng)用示例
4.1.9卷積網(wǎng)絡(luò)對圖片進(jìn)行多分類的應(yīng)用示例
4.2優(yōu)化神經(jīng)網(wǎng)絡(luò)
4.2.1訓(xùn)練集、驗(yàn)證集、測試集以及交叉驗(yàn)證
4.2.2欠擬合與過擬合
4.2.3損失函數(shù)的正則化
4.2.4精確率和召回率的權(quán)衡
4.3其他人工智能方法簡介
4.3.1K近鄰算法
4.3.2樸素貝葉斯法
4.3.3決策樹
4.3.4Boosting算法/Bagging算法
4.3.5支持向量機(jī)
4.3.6隨機(jī)場算法
4.3.7傳統(tǒng)智能算法所面臨的挑戰(zhàn)
 
 
 
第5章個圍棋智能體
5.1電子圍棋棋譜
5.2HDF5文件結(jié)構(gòu)
5.3數(shù)據(jù)模型
5.4獲取訓(xùn)練樣本
5.5代碼演示
第6章通用化圍棋智能體程序
6.1在網(wǎng)絡(luò)上發(fā)布圍棋智能體
6.2本地對戰(zhàn)
6.2.1計(jì)算機(jī)的圍棋語言
6.2.2圍棋的對弈圖形界面
6.2.3圍棋引擎
6.3讓圍棋智能體自己去網(wǎng)上下棋
第三部分強(qiáng)化學(xué)習(xí)
第7章策略梯度
第8章深度價值網(wǎng)絡(luò)
8.1傳統(tǒng)的QLearning算法
8.1.1原始版QLearning
8.1.2原始版QLearning計(jì)算時的優(yōu)化
8.1.3QLearning的變種Sarsa
8.1.4Sarsa的進(jìn)化Sarsaλ
8.2在神經(jīng)網(wǎng)絡(luò)上應(yīng)用DQN
第9章ActorCritic算法
第10章AlphaGo和AlphaZero
10.1AlphaGo的結(jié)構(gòu)和訓(xùn)練流程
10.2AlphaZero的結(jié)構(gòu)與訓(xùn)練流程
10.3可行的優(yōu)化
附錄AKeras入門
附錄BPyTorch入門
附錄C反向傳播算法
C.1命名約定
C.2正文
C.3進(jìn)一步討論
C.4拓展
附錄D不同地區(qū)的圍棋規(guī)則
D.1中國規(guī)則
D.2日本規(guī)則
D.3應(yīng)氏規(guī)則
D.4新西蘭規(guī)則
D.5美國規(guī)則
D.6智運(yùn)會規(guī)則
D.7TrompTaylor規(guī)則