中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大模型導論 版權信息
- ISBN：9787115637987
- 條形碼：9787115637987 ; 978-7-115-63798-7
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
大模型導論 本書特色
·內容全面，本書涵蓋大模型技術的各個方面，包括大模型的概念、數據預處理、Transformer、預訓練與微調、模型推理以及案例實戰等。
·內容循序漸進，從大模型基礎概念到開發架構全案例式講解，通過實戰引導讀者掌握大模型技術。
·注重實用，附贈源碼，豐富學習方式，邊學邊練。
·提供豐富的教學資源，適合高校教學和大模型領域從業者使用，滿足不同層次讀者的需求。
大模型導論 內容簡介
本書主要介紹了大模型的發展與演變、相關技術、應用場景、未來發展趨勢和前景。本書首先回顧了大模型技術的起源和發展歷程，然后介紹了數據預處理、Transformer、預訓練與微調、模型推理和PyTorch框架等技術。此外，本書還通過具體的案例和實踐展示了如何應用大模型技術來解決實際問題。本書旨在幫助讀者全面了解大模型技術的發展與應用，并推動其在各個領域的應用和發展。
本書圖文并茂，理論翔實，案例豐富，適合從事大模型開發的科研人員以及廣大的開發者作為技術參考和培訓資料，亦可作為高校本科生和研究生的教材。
大模型導論 目錄
第 1章 大模型概述 1
1.1 大模型介紹 2
1.1.1 生成原理 4
1.1.2 關鍵技術 5
1.1.3 關鍵術語 10
1.2 大模型分類 11
1.2.1 按模型結構劃分 12
1.2.2 按模態劃分 12
1.2.3 按微調方式劃分 13
1.2.4 帶插件系統的大模型 13
1.3 大模型的開發流程 13
1.3.1 確定項目目標 14
1.3.2 數據準備 15
1.3.3 模型設計 16
1.3.4 模型訓練 16
1.3.5 模型部署 17
1.3.6 模型應用 17
1.4 應用場景 18
1.5 未來發展方向 20
1.5.1 AI智能體 20
1.5.2 具身智能 21
1.6 小結 22
1.7 課后習題 22
第 2章 數據預處理 23
2.1 文本數據預處理 23
2.1.1 構造方法 24
2.1.2 構造流程 26
2.1.3 處理手段 28
2.1.4 常用類庫 37
2.2 圖像數據預處理 47
2.2.1 圖像去噪 48
2.2.2 圖像重采樣 52
2.2.3 圖像增強 53
2.3 圖文對數據預處理 56
2.4 Datasets庫 58
2.4.1 安裝與配置 58
2.4.2 使用方法 58
2.5 小結 63
2.6 課后習題 64
第3章 Transformer 65
3.1 注意力機制 65
3.1.1 自注意力機制 66
3.1.2 多頭自注意力機制 68
3.2 Transformer簡介 70
3.2.1 位置編碼 70
3.2.2 整體結構 71
3.2.3 稀疏Transformer 72
3.3 Visual Transformer簡介 73
3.3.1 模型結構 74
3.3.2 與Transformer對比 75
3.4 Q-Former 75
3.5 transformers庫 77
3.5.1 基本組成 77
3.5.2 使用方法 78
3.5.3 微調實踐 83
3.6 小結 85
3.7 課后習題 86
第4章 預訓練 87
4.1 預訓練介紹 87
4.1.1 發展歷程 88
4.1.2 模型類型 88
4.1.3 掩碼預訓練 89
4.2 預訓練任務 89
4.3 應用于下游任務的方法 91
4.3.1 遷移學習 91
4.3.2 微調 91
4.4 預訓練模型的應用 92
4.5 小結 93
4.6 課后習題 93
第5章 訓練優化 94
5.1 模型訓練挑戰 94
5.2 訓練優化技術 95
5.2.1 數據并行 95
5.2.2 模型并行 97
5.2.3 流水線并行 98
5.2.4 混合精度訓練 99
5.3 訓練加速工具 100
5.3.1 DeepSpeed 100
5.3.2 Megatron-LM 103
5.3.3 Colossal-AI 104
5.3.4 BMTrain 104
5.4 小結 107
5.5 課后習題 108
第6章 模型微調 109
6.1 監督微調 110
6.2 PEFT技術 110
6.2.1 Adapter tuning 111
6.2.2 Prefix tuning 111
6.2.3 Prompt tuning 112
6.2.4 P-tuning v1 113
6.2.5 P-tuning v2 114
6.2.6 LoRA 114
6.2.7 QLoRA 115
6.3 PEFT庫 116
6.3.1 關鍵步驟 117
6.3.2 微調方法 118
6.4 小結 124
6.5 課后習題 124
第7章 模型推理 125
7.1 模型壓縮和加速技術 125
7.1.1 模型量化 126
7.1.2 知識蒸餾 127
7.1.3 模型剪枝 130
7.1.4 稀疏激活 132
7.2 推理服務提升技術 133
7.2.1 KV Cache 134
7.2.2 PagedAttention 134
7.3 小結 136
7.4 課后習題 136
第8章 PyTorch框架 137
8.1 安裝與配置 137
8.2 基礎組件 138
8.2.1 張量 138
8.2.2 CUDA張量 142
8.2.3 Autograd 144
8.2.4 DataLoader 146
8.3 構建線性回歸模型 148
8.4 構建Transformer模型 151
8.4.1 數據準備與參數設置 151
8.4.2 位置編碼 153
8.4.3 掩碼操作 154
8.4.4 注意力計算 154
8.4.5 前饋神經網絡 155
8.4.6 編碼器與解碼器 155
8.4.7 構建Transformer 157
8.4.8 模型訓練 157
8.4.9 模型測試 158
8.5 小結 158
8.6 課后習題 159
第9章 向量數據庫 160
9.1 Milvus 160
9.1.1 安裝與配置 161
9.1.2 Milvus 1.0的基本操作 162
9.1.3 Milvus 2.0的基本操作 163
9.2 Pinecone 166
9.2.1 注冊與配置 166
9.2.2 基本操作 166
9.3 Chroma 168
9.3.1 安裝與配置 168
9.3.2 基本操作 168
9.4 小結 170
9.5 課后習題 170
第 10章 前端可視化工具 171
10.1 Gradio 171
10.1.1 Gradio安裝 172
10.1.2 常用操作 172
10.1.3 Interface使用詳解 175
10.1.4 Blocks使用詳解 176
10.2 Streamlit 178
10.2.1 安裝與配置 178
10.2.2 數據展示API 180
10.2.3 控件API 182
10.2.4 頁面布局API 184
10.2.5 狀態存儲 185
10.3 小結 185
10.4 課后習題 186
第 11章 LangChain 187
11.1 LangChain組件 187
11.1.1 Models 188
11.1.2 Prompts 188
11.1.3 Indexes 190
11.1.4 Memory 190
11.1.5 Chains 194
11.1.6 Agents 196
11.2 基礎操作 199
11.2.1 Prompts的用法 200
11.2.2 Chains的用法 201
11.2.3 Agents的用法 202
11.2.4 Memory的用法 204
11.3 進階實戰 205
11.3.1 對話式檢索問答 205
11.3.2 長短文本總結 207
11.3.3 結合向量數據庫實現問答 209
11.4 基于私域數據的問答系統 211
11.4.1 環境準備 212
11.4.2 模型測試 213
11.4.3 構建提示詞模板 213
11.4.4 生成詞向量 214
11.4.5 創建向量數據庫 216
11.4.6 構建問答系統 217
11.5 小結 219
11.6 課后習題 219
第 12章 常用開源模型的部署與微調 220
12.1 ChatGLM3模型部署與微調 220
12.1.1 環境準備 220
12.1.2 載入模型 222
12.1.3 數據準備 224
12.1.4 定義模型 228
12.1.5 模型訓練 230
12.1.6 保存模型 232
12.1.7 模型評估 232
12.2 Baichuan2模型部署與微調 233
12.2.1 環境準備 233
12.2.2 載入模型 234
12.2.3 數據準備 238
12.2.4 定義模型 241
12.2.5 模型訓練 242
12.2.6 保存模型 244
12.2.7 模型評估 245
12.3 LLaMA2模型部署與微調 247
12.3.1 模型使用申請 248
12.3.2 環境準備 248
12.3.3 載入模型 249
12.3.4 數據準備 250
12.3.5 模型訓練 251
12.3.6 保存模型 254
12.3.7 模型評估 255
12.4 小結 256
12.5 課后習題 256
參考文獻 257
1.1 大模型介紹 2
1.1.1 生成原理 4
1.1.2 關鍵技術 5
1.1.3 關鍵術語 10
1.2 大模型分類 11
1.2.1 按模型結構劃分 12
1.2.2 按模態劃分 12
1.2.3 按微調方式劃分 13
1.2.4 帶插件系統的大模型 13
1.3 大模型的開發流程 13
1.3.1 確定項目目標 14
1.3.2 數據準備 15
1.3.3 模型設計 16
1.3.4 模型訓練 16
1.3.5 模型部署 17
1.3.6 模型應用 17
1.4 應用場景 18
1.5 未來發展方向 20
1.5.1 AI智能體 20
1.5.2 具身智能 21
1.6 小結 22
1.7 課后習題 22
第 2章 數據預處理 23
2.1 文本數據預處理 23
2.1.1 構造方法 24
2.1.2 構造流程 26
2.1.3 處理手段 28
2.1.4 常用類庫 37
2.2 圖像數據預處理 47
2.2.1 圖像去噪 48
2.2.2 圖像重采樣 52
2.2.3 圖像增強 53
2.3 圖文對數據預處理 56
2.4 Datasets庫 58
2.4.1 安裝與配置 58
2.4.2 使用方法 58
2.5 小結 63
2.6 課后習題 64
第3章 Transformer 65
3.1 注意力機制 65
3.1.1 自注意力機制 66
3.1.2 多頭自注意力機制 68
3.2 Transformer簡介 70
3.2.1 位置編碼 70
3.2.2 整體結構 71
3.2.3 稀疏Transformer 72
3.3 Visual Transformer簡介 73
3.3.1 模型結構 74
3.3.2 與Transformer對比 75
3.4 Q-Former 75
3.5 transformers庫 77
3.5.1 基本組成 77
3.5.2 使用方法 78
3.5.3 微調實踐 83
3.6 小結 85
3.7 課后習題 86
第4章 預訓練 87
4.1 預訓練介紹 87
4.1.1 發展歷程 88
4.1.2 模型類型 88
4.1.3 掩碼預訓練 89
4.2 預訓練任務 89
4.3 應用于下游任務的方法 91
4.3.1 遷移學習 91
4.3.2 微調 91
4.4 預訓練模型的應用 92
4.5 小結 93
4.6 課后習題 93
第5章 訓練優化 94
5.1 模型訓練挑戰 94
5.2 訓練優化技術 95
5.2.1 數據并行 95
5.2.2 模型并行 97
5.2.3 流水線并行 98
5.2.4 混合精度訓練 99
5.3 訓練加速工具 100
5.3.1 DeepSpeed 100
5.3.2 Megatron-LM 103
5.3.3 Colossal-AI 104
5.3.4 BMTrain 104
5.4 小結 107
5.5 課后習題 108
第6章 模型微調 109
6.1 監督微調 110
6.2 PEFT技術 110
6.2.1 Adapter tuning 111
6.2.2 Prefix tuning 111
6.2.3 Prompt tuning 112
6.2.4 P-tuning v1 113
6.2.5 P-tuning v2 114
6.2.6 LoRA 114
6.2.7 QLoRA 115
6.3 PEFT庫 116
6.3.1 關鍵步驟 117
6.3.2 微調方法 118
6.4 小結 124
6.5 課后習題 124
第7章 模型推理 125
7.1 模型壓縮和加速技術 125
7.1.1 模型量化 126
7.1.2 知識蒸餾 127
7.1.3 模型剪枝 130
7.1.4 稀疏激活 132
7.2 推理服務提升技術 133
7.2.1 KV Cache 134
7.2.2 PagedAttention 134
7.3 小結 136
7.4 課后習題 136
第8章 PyTorch框架 137
8.1 安裝與配置 137
8.2 基礎組件 138
8.2.1 張量 138
8.2.2 CUDA張量 142
8.2.3 Autograd 144
8.2.4 DataLoader 146
8.3 構建線性回歸模型 148
8.4 構建Transformer模型 151
8.4.1 數據準備與參數設置 151
8.4.2 位置編碼 153
8.4.3 掩碼操作 154
8.4.4 注意力計算 154
8.4.5 前饋神經網絡 155
8.4.6 編碼器與解碼器 155
8.4.7 構建Transformer 157
8.4.8 模型訓練 157
8.4.9 模型測試 158
8.5 小結 158
8.6 課后習題 159
第9章 向量數據庫 160
9.1 Milvus 160
9.1.1 安裝與配置 161
9.1.2 Milvus 1.0的基本操作 162
9.1.3 Milvus 2.0的基本操作 163
9.2 Pinecone 166
9.2.1 注冊與配置 166
9.2.2 基本操作 166
9.3 Chroma 168
9.3.1 安裝與配置 168
9.3.2 基本操作 168
9.4 小結 170
9.5 課后習題 170
第 10章 前端可視化工具 171
10.1 Gradio 171
10.1.1 Gradio安裝 172
10.1.2 常用操作 172
10.1.3 Interface使用詳解 175
10.1.4 Blocks使用詳解 176
10.2 Streamlit 178
10.2.1 安裝與配置 178
10.2.2 數據展示API 180
10.2.3 控件API 182
10.2.4 頁面布局API 184
10.2.5 狀態存儲 185
10.3 小結 185
10.4 課后習題 186
第 11章 LangChain 187
11.1 LangChain組件 187
11.1.1 Models 188
11.1.2 Prompts 188
11.1.3 Indexes 190
11.1.4 Memory 190
11.1.5 Chains 194
11.1.6 Agents 196
11.2 基礎操作 199
11.2.1 Prompts的用法 200
11.2.2 Chains的用法 201
11.2.3 Agents的用法 202
11.2.4 Memory的用法 204
11.3 進階實戰 205
11.3.1 對話式檢索問答 205
11.3.2 長短文本總結 207
11.3.3 結合向量數據庫實現問答 209
11.4 基于私域數據的問答系統 211
11.4.1 環境準備 212
11.4.2 模型測試 213
11.4.3 構建提示詞模板 213
11.4.4 生成詞向量 214
11.4.5 創建向量數據庫 216
11.4.6 構建問答系統 217
11.5 小結 219
11.6 課后習題 219
第 12章 常用開源模型的部署與微調 220
12.1 ChatGLM3模型部署與微調 220
12.1.1 環境準備 220
12.1.2 載入模型 222
12.1.3 數據準備 224
12.1.4 定義模型 228
12.1.5 模型訓練 230
12.1.6 保存模型 232
12.1.7 模型評估 232
12.2 Baichuan2模型部署與微調 233
12.2.1 環境準備 233
12.2.2 載入模型 234
12.2.3 數據準備 238
12.2.4 定義模型 241
12.2.5 模型訓練 242
12.2.6 保存模型 244
12.2.7 模型評估 245
12.3 LLaMA2模型部署與微調 247
12.3.1 模型使用申請 248
12.3.2 環境準備 248
12.3.3 載入模型 249
12.3.4 數據準備 250
12.3.5 模型訓練 251
12.3.6 保存模型 254
12.3.7 模型評估 255
12.4 小結 256
12.5 課后習題 256
參考文獻 257
展開全部
大模型導論 作者簡介
張成文，博士，北京郵電大學副教授、碩士生導師。中國人工智能學會高級會員，任中國電子商會大模型應用產業專委會秘書長、中國人工智能產業發展聯盟產學研工作組副組長，中國醫學裝備協會人工智能和醫用機器人工作委員會常委、中國教育發展戰略學會人工智能與機器人專委會理事等。他在網絡技術專業領域有著深入的研究，并且完成了國家科技重大專項、國家重點研發計劃、國家自然科學基金等項目。專業方向包括人工智能、大數據個性化推薦、云計算、計算機視覺等。他在國內外一流期刊上發表了多篇高水平論文，并出版了多本教材和專著。
書友推薦
- >
姑媽的寶刀
- >
月亮與六便士
- >
我與地壇
- >
唐代進士錄
- >
朝聞道
- >
巴金－再思錄
- >
二體千字文
- >
大紅狗在馬戲團-大紅狗克里弗-助人
本類暢銷
