Llama大模型實(shí)踐指南

第1章　大模型的基礎(chǔ)理論
1.1　大模型的發(fā)展歷史
1.1.1　從語(yǔ)言模型到預(yù)訓(xùn)練大模型
1.1.2　預(yù)訓(xùn)練大模型的發(fā)展
1.1.3　大模型的進(jìn)化
1.2　大模型的核心框架
1.2.1　Transformer
1.2.2　位置編碼
1.2.3　多頭自注意力機(jī)制
1.3　數(shù)據(jù)收集和數(shù)據(jù)處理
1.3.1　數(shù)據(jù)收集
1.3.2　數(shù)據(jù)處理
1.4　大模型的預(yù)訓(xùn)練及微調(diào)
1.4.1　無(wú)監(jiān)督預(yù)訓(xùn)練
1.4.2　指令微調(diào)
1.4.3　基于人類反饋微調(diào)
1.5　大模型的評(píng)測(cè)
1.5.1　評(píng)測(cè)任務(wù)
1.5.2　評(píng)測(cè)數(shù)據(jù)集
1.5.3　評(píng)測(cè)方法
1.5.4　評(píng)測(cè)中的挑戰(zhàn)
第2章　部署Llama 2大模型
2.1　部署前的準(zhǔn)備
2.1.1　硬件準(zhǔn)備
2.1.2　環(huán)境準(zhǔn)備
2.2　模型的導(dǎo)入與加載
2.2.1　下載代碼
2.2.2　下載模型
2.3　模型部署
2.3.1　API部署
2.3.2　text-generation-webui 部署
2.3.3　使用text-generation-webui
第3章　微調(diào)Llama 2大模型
3.1　微調(diào)的數(shù)據(jù)集準(zhǔn)備和標(biāo)注
3.1.1　數(shù)據(jù)集準(zhǔn)備
3.1.2　數(shù)據(jù)集標(biāo)注
3.2　Llama 2大模型加載
3.3　微調(diào)策略設(shè)計(jì)及模型重新訓(xùn)練
3.3.1　微調(diào)策略設(shè)計(jì)
3.3.2　模型參數(shù)高效微調(diào)
3.4　模型評(píng)估、測(cè)試和模型優(yōu)化
3.4.1　模型評(píng)估、測(cè)試
3.4.2　模型優(yōu)化
3.5　模型保存、模型部署和推理加速
3.5.1　模型保存
3.5.2　模型部署
3.5.3　推理加速
第4章　解決Llama 2大模型多輪對(duì)話難題
4.1　定制多輪對(duì)話數(shù)據(jù)集和構(gòu)造方法
4.1.1　準(zhǔn)備微調(diào)訓(xùn)練數(shù)據(jù)的7個(gè)原則
4.1.2　定制微調(diào)訓(xùn)練數(shù)據(jù)集
4.1.3　多輪對(duì)話的3個(gè)場(chǎng)景
4.2　實(shí)操構(gòu)造多輪對(duì)話微調(diào)訓(xùn)練數(shù)據(jù)集
4.3　通過(guò)多輪對(duì)話存儲(chǔ)解決信息流失問(wèn)題
4.3.1　拼接歷史與當(dāng)前輸入
4.3.2　上下文向量
4.3.3　對(duì)話狀態(tài)追蹤
4.3.4　狀態(tài)壓縮
4.3.5　增量學(xué)習(xí)和在線學(xué)習(xí)
4.4　提高大模型多輪對(duì)話應(yīng)對(duì)能力
4.4.1　針對(duì)性的數(shù)據(jù)集與微調(diào)
4.4.2　實(shí)時(shí)反饋與自適應(yīng)
4.4.3　強(qiáng)化學(xué)習(xí)優(yōu)化
4.4.4　上下文感知與個(gè)性化
4.4.5　多模態(tài)與多任務(wù)學(xué)習(xí)
4.4.6　錯(cuò)誤處理與恢復(fù)策略
4.5　模型評(píng)估與持續(xù)改進(jìn)
4.5.1　微調(diào)Llama 2大模型評(píng)估
4.5.2　持續(xù)改進(jìn)
4.6　適合Llama 2大模型多輪對(duì)話的prompt構(gòu)建
第5章　基于Llama 2定制行業(yè)大模型
5.1　業(yè)務(wù)數(shù)據(jù)分析指導(dǎo)行業(yè)大模型定制
5.1.1　行業(yè)大模型的定制策略
5.1.2　模型性能的評(píng)估
5.2　行業(yè)數(shù)據(jù)的獲取與預(yù)處理
5.2.1　數(shù)據(jù)獲取
5.2.2　數(shù)據(jù)預(yù)處理
5.3　Llama 2大模型導(dǎo)入初始化
5.4　微調(diào)獲得行業(yè)特定大模型
5.4.1　領(lǐng)域預(yù)訓(xùn)練
5.4.2　微調(diào)策略
5.5　模型測(cè)試、評(píng)估和優(yōu)化
第6章　Llama 2 + LangChain文檔問(wèn)答模型構(gòu)建
6.1　LangChain介紹
6.2　LangChain的主要概念與示例
6.2.1　模型
6.2.2　提示
6.2.3　輸出解析器
6.2.4　索引
6.2.5　內(nèi)存
6.2.6　鏈
6.2.7　代理
6.2.8　工具
6.3　LangChain 環(huán)境配置
6.3.1　Python環(huán)境搭建
6.3.2　LangChain主要模塊
6.4　Llama 2+LangChain文檔問(wèn)答模型評(píng)估
6.4.1　設(shè)置虛擬環(huán)境和創(chuàng)建文件結(jié)構(gòu)
6.4.2　Llama 2和LangChain的交互流程
6.4.3　具體案例
第7章　多語(yǔ)言大模型技術(shù)介紹及其工業(yè)應(yīng)用
7.1　多語(yǔ)言大模型的研究現(xiàn)狀和技術(shù)方向
7.1.1　為什么進(jìn)行多語(yǔ)言研究
7.1.2　多語(yǔ)言在NLP社區(qū)的發(fā)展
7.1.3　多語(yǔ)言模型技術(shù)方向
7.2　多語(yǔ)言大模型的預(yù)訓(xùn)練資源和評(píng)測(cè)任務(wù)
7.2.1　多語(yǔ)言大模型的預(yù)訓(xùn)練資源介紹
7.2.2　評(píng)測(cè)任務(wù)介紹
7.3　多語(yǔ)言大模型的優(yōu)化方向
7.3.1　數(shù)據(jù)預(yù)處理流程
7.3.2　Tokenizer
7.3.3　訓(xùn)練數(shù)據(jù)格式和采樣策略
7.3.4　多語(yǔ)言大模型的訓(xùn)練任務(wù)
7.3.5　多語(yǔ)言大模型的優(yōu)化方向總結(jié)（以Llama 2為例）
7.4　多語(yǔ)言大模型的工業(yè)應(yīng)用
7.4.1　智能客服
7.4.2　搜索引擎
7.4.3　機(jī)器翻譯