大規(guī)模語言模型開發(fā)基礎(chǔ)與實(shí)踐

第1章 大模型基礎(chǔ)
1.1人工智能
1.1.1 人工智能的發(fā)展歷程
1.1.2 人工智能的研究領(lǐng)域
1.1.3 人工智能對人們生活的影響
1.2機(jī)器學(xué)習(xí)和深度學(xué)習(xí)
1.2.1 機(jī)器學(xué)習(xí)
1.2.2 深度學(xué)習(xí)
1.2.3 機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別
1.3大模型簡介
1.3.1 大模型的作用
1.3.2 數(shù)據(jù)
1.3.3 數(shù)據(jù)和大模型的關(guān)系
1.4大模型開發(fā)與應(yīng)用的技術(shù)棧
第2章 數(shù)據(jù)集的加載、基本處理和制作
2.1數(shù)據(jù)集的加載
2.1.1 PyTorch加載數(shù)據(jù)集
2.1.2 TensorFlow加載數(shù)據(jù)集
2.2數(shù)據(jù)集的基本處理
2.2.1 轉(zhuǎn)換為Tensor格式
2.2.2 標(biāo)準(zhǔn)化處理
2.2.3 調(diào)整大小和裁剪
2.2.4 隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)
2.3數(shù)據(jù)集的制作
2.3.1 自定義數(shù)據(jù)集
2.3.2 制作簡易圖片數(shù)據(jù)集
2.3.3 制作有標(biāo)簽的數(shù)據(jù)集
第3章 數(shù)據(jù)集的預(yù)處理
3.1數(shù)據(jù)清洗和處理
3.1.1 缺失值處理
3.1.2 異常值檢測與處理
3.1.3 重復(fù)數(shù)據(jù)處理
3.2數(shù)據(jù)轉(zhuǎn)換與整合
3.2.1 特征選擇與抽取
3.2.2 特征變換與降維
3.2.3 數(shù)據(jù)集成與關(guān)聯(lián)
3.3數(shù)據(jù)標(biāo)準(zhǔn)化與歸一化
3.3.1 標(biāo)準(zhǔn)化及其重要性
3.3.2 特征縮放和歸一化
3.3.3 數(shù)據(jù)轉(zhuǎn)換和規(guī)范化
3.3.4 “最小-最大 ”縮放
3.4數(shù)據(jù)增強(qiáng)技術(shù)
3.4.1 數(shù)據(jù)增強(qiáng)的意義
3.4.2 圖像數(shù)據(jù)增強(qiáng)
3.4.3 自然語言數(shù)據(jù)增強(qiáng)
第4章 卷積神經(jīng)網(wǎng)絡(luò)模型
4.1卷積神經(jīng)網(wǎng)絡(luò)簡介
4.1.1 卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展背景
4.1.2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
4.2卷積神經(jīng)網(wǎng)絡(luò)模型開發(fā)實(shí)戰(zhàn)
4.2.1 使用TensorFlow創(chuàng)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型并評估
4.2.2 使用PyTorch創(chuàng)建手寫數(shù)字模型
第5章 循環(huán)神經(jīng)網(wǎng)絡(luò)模型
5.1文本處理與循環(huán)神經(jīng)網(wǎng)絡(luò)簡介
5.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
5.1.2 文本分類
5.2循環(huán)神經(jīng)網(wǎng)絡(luò)模型開發(fā)實(shí)戰(zhàn)
5.2.1 使用PyTorch開發(fā)歌詞生成器模型
5.2.2 使用TensorFlow制作情感分析模型
第6章 特征提取
6.1特征提取簡介
6.1.1 特征在大模型中的關(guān)鍵作用
6.1.2 特征提取與數(shù)據(jù)預(yù)處理的關(guān)系
6.2特征的類型和重要性
6.2.1 數(shù)值特征和類別特征
6.2.2 高維數(shù)據(jù)的挑戰(zhàn)
6.3特征選擇
6.3.1 特征選擇的必要性
6.3.2 特征選擇的方法
6.4特征抽取
6.4.1 特征抽取的概念
6.4.2 主成分分析
6.4.3 獨(dú)立成分分析
6.4.4 自動編碼器
6.5文本數(shù)據(jù)的特征提取
6.5.1 嵌入
6.5.2 詞袋模型
6.5.3 TF-IDF特征
6.6 圖像數(shù)據(jù)的特征提取
6.6.1 預(yù)訓(xùn)練的圖像特征提取模型
6.6.2 基本圖像特征：邊緣檢測、顏色直方圖等
第7章 注意力機(jī)制
7.1注意力機(jī)制基礎(chǔ)
7.1.1 注意力機(jī)制簡介
7.1.2 注意力機(jī)制的變體
7.1.3 注意力機(jī)制解決的問題
7.2TensorFlow 機(jī)器翻譯系統(tǒng)
7.2.1 項(xiàng)目簡介
7.2.2 下載并準(zhǔn)備數(shù)據(jù)集
7.2.3 文本預(yù)處理
7.2.4 編碼器模型
7.2.5 繪制可視化注意力圖
7.2.6 解碼器
7.2.7 訓(xùn)練
7.2.8 翻譯
7.3 PyTorch 機(jī)器翻譯系統(tǒng)
7.3.1 準(zhǔn)備數(shù)據(jù)集
7.3.2 數(shù)據(jù)預(yù)處理
7.3.3 實(shí)現(xiàn)Seq2Seq 模型
7.3.4 訓(xùn)練模型
7.3.5 模型評估
7.3.6 訓(xùn)練和評估
7.3.7 注意力的可視化
第8章 模型訓(xùn)練與調(diào)優(yōu)
8.1模型訓(xùn)練優(yōu)化
8.1.1 底層優(yōu)化
8.1.2 樣本權(quán)重和分類權(quán)重
8.2損失函數(shù)和優(yōu)化算法
8.2.1 損失函數(shù)和優(yōu)化算法的概念
8.2.2 TensorFlow損失函數(shù)和優(yōu)化算法
8.2.3 PyTorch損失函數(shù)和優(yōu)化算法
8.3批量訓(xùn)練和隨機(jī)訓(xùn)練
8.3.1 批量訓(xùn)練和隨機(jī)訓(xùn)練的概念
8.3.2 小批量隨機(jī)梯度下降
8.3.3 批量歸一化
8.3.4 丟棄
8.4模型驗(yàn)證和調(diào)優(yōu)
8.4.1 訓(xùn)練集、驗(yàn)證集和測試集
8.4.2 交叉驗(yàn)證優(yōu)化
8.4.3 超參數(shù)調(diào)優(yōu)
第9章 模型推理和評估
9.1模型推理
9.1.1 模型推理的步驟
9.1.2 前向傳播和輸出計(jì)算的過程
9.1.3 模型推理的優(yōu)化和加速
9.2模型評估
9.2.1 模型評估的方法和指標(biāo)
9.2.2 交叉驗(yàn)證和統(tǒng)計(jì)顯著性測試的應(yīng)用
第10章 大模型優(yōu)化算法和技術(shù)
10.1常見的大模型優(yōu)化算法和技術(shù)
10.2梯度下降法
10.2.1 梯度下降法簡介
10.2.2 TensorFlow梯度下降法優(yōu)化實(shí)踐
10.2.3 PyTorch梯度下降法優(yōu)化實(shí)踐
10.3模型并行和數(shù)據(jù)并行
10.3.1 模型并行和數(shù)據(jù)并行的基本概念
10.3.2 TensorFlow模型并行和數(shù)據(jù)并行實(shí)踐
10.3.3 PyTorch模型并行和數(shù)據(jù)并行實(shí)踐
10.4學(xué)習(xí)率調(diào)度
10.4.1 學(xué)習(xí)率調(diào)度的方法
10.4.2 TensorFlow學(xué)習(xí)率調(diào)度優(yōu)化實(shí)踐
10.4.3 PyTorch學(xué)習(xí)率調(diào)度優(yōu)化實(shí)踐
10.5權(quán)重初始化策略
10.6遷移學(xué)習(xí)
10.6.1 遷移學(xué)習(xí)的基本概念
10.6.2 TensorFlow遷移學(xué)習(xí)優(yōu)化實(shí)踐
10.6.3 PyTorch遷移學(xué)習(xí)優(yōu)化實(shí)踐
10.7其他大模型優(yōu)化算法和技術(shù)
10.7.1 分布式訓(xùn)練
10.7.2 正則化
10.7.3 梯度裁剪
10.7.4 混合精度訓(xùn)練優(yōu)化
10.7.5 量化優(yōu)化技術(shù)
10.7.6 剪枝優(yōu)化技術(shù)
第11章 AI智能問答系統(tǒng)（TensorFlow TensorFlow. js SQuAD 2.0 Mobile-BERT）
11.1背景簡介
11.1.1 互聯(lián)網(wǎng)的影響
11.1.2 問答系統(tǒng)的發(fā)展
11.2問答系統(tǒng)的發(fā)展趨勢：AI 問答系統(tǒng)
11.3技術(shù)架構(gòu)
11.3.1 TensorFlow.js
11.3.2 SQuAD 2.0
11.3.3 BERT
11.3.4 知識蒸餾
11.4具體實(shí)現(xiàn)
11.4.1 編寫HTML文件
11.4.2 腳本處理
11.4.3 加載訓(xùn)練模型
11.4.4 查詢處理
11.4.5 文章處理
11.4.6 加載處理
11.4.7 尋找答案
11.4.8 提取最佳答案
11.4.9 將答案轉(zhuǎn)換回原始文本
11.5調(diào)試運(yùn)行
第12章 AI人臉識別系統(tǒng)（PyTorch OpenCV Scikit-Image MobileNet ArcFace）
12.1 系統(tǒng)簡介
12.1.1 背景簡介
12.1.2 人臉識別的發(fā)展歷史和現(xiàn)狀
12.2系統(tǒng)需求分析
12.2.1 系統(tǒng)功能分析
12.2.2 技術(shù)分析
12.2.3 實(shí)現(xiàn)流程分析
12.3數(shù)據(jù)集
12.3.1 準(zhǔn)備數(shù)據(jù)集
12.3.2 提取人臉
12.4訓(xùn)練模型
12.4.1 ArcFace算法
12.4.2 MobileNet算法
12.4.3 開始訓(xùn)練
12.5評估模型
12.5.1 評估的重要性
12.5.2 評估程序
12.6人臉識別
12.6.1 圖像預(yù)處理
12.6.2 人臉識別模型
12.6.3 開始識別