中圖網(wǎng)小程序
一鍵登錄
更方便
中圖價(jià):¥69.3
加入購物車
大模型實(shí)戰(zhàn):微調(diào)、優(yōu)化與私有化部署 版權(quán)信息
- ISBN：9787121493232
- 條形碼：9787121493232 ; 978-7-121-49323-2
- 裝幀：平塑
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>>
大模型實(shí)戰(zhàn):微調(diào)、優(yōu)化與私有化部署 內(nèi)容簡介
人工智能已在多個(gè)行業(yè)得到成功應(yīng)用，大模型的應(yīng)用已成為突破性進(jìn)展的重要驅(qū)動(dòng)力，而在特定垂直領(lǐng)域，如醫(yī)療、法律、金融等，大模型微調(diào)面臨獨(dú)特的挑戰(zhàn)和需求。本書致力于大型語言模型微調(diào)與應(yīng)用的關(guān)鍵技術(shù)，本書探討兩個(gè)熱門應(yīng)用方向：大模型的知識(shí)專業(yè)性和時(shí)效性。本書剖析了垂直領(lǐng)域大模型訓(xùn)練的背景及意義，探討大模型在垂直領(lǐng)域的遷移學(xué)習(xí)、應(yīng)用部署與效果評(píng)估等核心內(nèi)容，結(jié)合實(shí)際案例，深入淺出地解析了每個(gè)環(huán)節(jié)的關(guān)鍵問題和解決方案，引領(lǐng)讀者了解行業(yè)內(nèi)*新研究成果與發(fā)展趨勢，方便讀者快捷地嫁接到各個(gè)行業(yè)。
大模型實(shí)戰(zhàn):微調(diào)、優(yōu)化與私有化部署 目錄
目 錄第1章 從零開始大模型之旅 11.1 對話機(jī)器人歷史 11.1.1 人機(jī)同頻交流 11.1.2 人機(jī)對話發(fā)展歷史 21.2 人工智能 41.2.1 從感知到創(chuàng)造 41.2.2 通用人工智能 71.2.3 發(fā)展方向 91.2.4 本書焦點(diǎn) 101.3 本章小結(jié) 11第2章 大模型私有化部署 122.1 CUDA環(huán)境準(zhǔn)備 122.1.1 基礎(chǔ)環(huán)境 12目 錄
第1章 從零開始大模型之旅 1
1.1 對話機(jī)器人歷史 1
1.1.1 人機(jī)同頻交流 1
1.1.2 人機(jī)對話發(fā)展歷史 2
1.2 人工智能 4
1.2.1 從感知到創(chuàng)造 4
1.2.2 通用人工智能 7
1.2.3 發(fā)展方向 9
1.2.4 本書焦點(diǎn) 10
1.3 本章小結(jié) 11
第2章 大模型私有化部署 12
2.1 CUDA環(huán)境準(zhǔn)備 12
2.1.1 基礎(chǔ)環(huán)境 12
2.1.2 大模型運(yùn)行環(huán)境 13
2.1.3 安裝顯卡驅(qū)動(dòng) 14
2.1.4 安裝CUDA 18
2.1.5 安裝cuDNN 24
2.2 深度學(xué)習(xí)環(huán)境準(zhǔn)備 26
2.2.1 安裝Anaconda環(huán)境 26
2.2.2 服務(wù)器環(huán)境下的環(huán)境啟動(dòng) 30
2.2.3 安裝PyTorch 322.3 GLM-3和GLM-4 34
2.3.1 GLM-3介紹 34
2.3.2 GLM-4介紹 36
2.4 GLM-4私有化部署 36
2.4.1 創(chuàng)建虛擬環(huán)境 37
2.4.2 下載GLM-4項(xiàng)目文件 37
2.4.3 安裝項(xiàng)目依賴包 39
2.4.4 下載模型權(quán)重 40
2.5 運(yùn)行GLM-4的方式 41
2.5.1 基于命令行的交互式對話 42
2.5.2 基于Gradio庫的Web端對話應(yīng)用 42
2.5.3 OpenAI風(fēng)格的API調(diào)用方法 43
2.5.4 模型量化部署 45
2.6 本章小結(jié) 47
第3章 大模型理論基礎(chǔ) 49
3.1 自然語言領(lǐng)域中的數(shù)據(jù) 49
3.1.1 時(shí)間序列數(shù)據(jù) 49
3.1.2 分詞 50
3.1.3 Token 53
3.1.4 Embedding 53
3.1.5 語義向量空間 54
3.2 語言模型歷史演進(jìn) 55
3.2.1 語言模型歷史演進(jìn) 55
3.2.2 統(tǒng)計(jì)語言模型 57
3.2.3 神經(jīng)網(wǎng)絡(luò)語言模型 58
3.3 注意力機(jī)制 58
3.3.1 RNN模型 58
3.3.2 Seq2Seq模型 60
3.3.3 Attention注意力機(jī)制 62
3.4 Transformer架構(gòu) 65
3.4.1 整體架構(gòu) 65
3.4.2 Self-Attention 66
3.4.3 Multi-Head Attention 68
3.4.4 Encoder 68
3.4.5 Decoder 70
3.4.6 實(shí)驗(yàn)效果 71
3.5 本章小結(jié) 72
第4章 大模型開發(fā)工具 73
4.1 Huggingface 73
4.1.1 Huggingface介紹 73
4.1.2 安裝Transformers庫 77
4.2 大模型開發(fā)工具 79
4.2.1 開發(fā)范式 79
4.2.2 Transformers庫核心設(shè)計(jì) 80
4.3 Transformers庫詳解 84
4.3.1 NLP任務(wù)處理全流程 84
4.3.2 數(shù)據(jù)轉(zhuǎn)換形式 86
4.3.3 Tokenizer 88
4.3.4 模型加載和解讀 92
4.3.5 模型的輸出 94
4.3.6 模型的保存 97
4.4 全量微調(diào)訓(xùn)練方法 98
4.4.1 Datasets庫和Accelerate庫 98
4.4.2 數(shù)據(jù)格式 101
4.4.3 數(shù)據(jù)預(yù)處理 103
4.4.4 模型訓(xùn)練的參數(shù) 106
4.4.5 模型訓(xùn)練 108
4.4.6 模型評(píng)估 110
4.5 本章小結(jié) 115
第5章 高效微調(diào)方法 117
5.1 主流的高效微調(diào)方法介紹 117
5.1.1 微調(diào)方法介紹 117
5.1.2 Prompt的提出背景 119
5.2 PEFT庫快速入門 121
5.2.1 介紹 121
5.2.2 設(shè)計(jì)理念 122
5.2.3 使用 125
5.3 Prefix Tuning 129
5.3.1 背景 129
5.3.2 核心技術(shù)解讀 129
5.3.3 實(shí)現(xiàn)步驟 131
5.3.4 實(shí)驗(yàn)結(jié)果 134
5.4 Prompt Tuning 135
5.4.1 背景 135
5.4.2 核心技術(shù)解讀 136
5.4.3 實(shí)現(xiàn)步驟 137
5.4.4 實(shí)驗(yàn)結(jié)果 139
5.5 P-Tuning 140
5.5.1 背景 140
5.5.2 核心技術(shù)解讀 141
5.5.3 實(shí)現(xiàn)步驟 142
5.5.4 實(shí)驗(yàn)結(jié)果 144
5.6 P-Tuning V2 145
5.6.1 背景 145
5.6.2 核心技術(shù)解讀 146
5.6.3 實(shí)現(xiàn)步驟 147
5.6.4 實(shí)驗(yàn)結(jié)果 149
5.7 本章小結(jié) 150
第6章 LoRA微調(diào)GLM-4實(shí)戰(zhàn) 151
6.1 LoRA 151
6.1.1 背景 151
6.1.2 核心技術(shù)解讀 152
6.1.3 LoRA的特點(diǎn) 153
6.1.4 實(shí)現(xiàn)步驟 155
6.1.5 實(shí)驗(yàn)結(jié)果 157
6.2 AdaLoRA 157
6.2.1 LoRA的缺陷 157
6.2.2 核心技術(shù)解讀 158
6.2.3 實(shí)現(xiàn)步驟 160
6.2.4 實(shí)驗(yàn)結(jié)果 161
6.3 QLoRA 162
6.3.1 背景 162
6.3.2 技術(shù)原理解析 163
6.4 量化技術(shù) 165
6.4.1 背景 165
6.4.2 量化技術(shù)分類 165
6.4.3 BitsAndBytes庫 166
6.4.4 實(shí)現(xiàn)步驟 166
6.4.5 實(shí)驗(yàn)結(jié)果 169
6.5 本章小結(jié) 169
第7章 提示工程入門與實(shí)踐 170
7.1 探索大模型潛力邊界 170
7.1.1 潛力的來源 170
7.1.2 Prompt的六個(gè)建議 171
7.2 Prompt實(shí)踐 173
7.2.1 四個(gè)經(jīng)典推理問題 173
7.2.2 大模型原始表現(xiàn) 175
7.3 提示工程 177
7.3.1 提示工程的概念 177
7.3.2 Few-shot 177
7.3.3 通過思維鏈提示法提升模型推理能力 180
7.3.4 Zero-shot-CoT提示方法 181
7.3.5 Few-shot-CoT提示方法 185
7.4 Least-to-Most Prompting（LtM提示方法） 188
7.4.1 Least-to-Most Prompting基本概念 188
7.4.2 Zero-shot-LtM提示過程 189
7.4.3 效果驗(yàn)證 191
7.5 提示使用技巧 192
7.5.1 B.R.O.K.E提示框架 193
7.5.2 C.O.A.S.T提示框架 195
7.5.3 R.O.S.E.S提示框架 196
7.6 本章小結(jié) 197
第8章 大模型與中間件 198
8.1 AI Agent 198
8.1.1 從AGI到Agent 198
8.1.2 Agent概念 199
8.1.3 AI Agent應(yīng)用領(lǐng)域 200
8.2 大模型對話模式 201
8.2.1 模型分類 201
8.2.2 多角色對話模式 203
8.3 多角色對話模式實(shí)戰(zhàn) 204
8.3.1 messages參數(shù)結(jié)構(gòu)及功能解釋 204
8.3.2 messages參數(shù)中的角色劃分 205
8.4 Function Calling功能 207
8.4.1 發(fā)展歷史 208
8.4.2 簡單案例 209
8.5 實(shí)現(xiàn)多函數(shù) 214
8.5.1 定義多個(gè)工具函數(shù) 214
8.5.2 測試結(jié)果 217
8.6 Bing搜索嵌入LLM 217
8.6.1 曇花一現(xiàn)的Browsing with Bing 217
8.6.2 需求分析 218
8.6.3 Google搜索API的獲取和使用 220
8.6.4 構(gòu)建自動(dòng)搜索問答機(jī)器人 223
8.7 本章小結(jié) 225
第9章 LangChain理論與實(shí)戰(zhàn) 226
9.1 整體介紹 226
9.1.1 什么是LangChain 226
9.1.2 意義 227
9.1.3 架構(gòu) 228
9.2 Model I/O 229
9.2.1 架構(gòu) 229
9.2.2 LLM 230
9.2.3 ChatModel 233
9.2.4 Prompt Template 234
9.2.5 實(shí)戰(zhàn)：LangChain接入本地GLM 237
9.2.6 Parser 239
9.3 Chain 240
9.3.1 基礎(chǔ)概念 240
9.3.2 常用的Chain 241
9.4 Memory 249
9.4.1 基礎(chǔ)概念 249
9.4.2 流程解讀 250
9.4.3 常用Memory 251
9.5 Agents 257
9.5.1 理論 257
9.5.2 快速入門 259
9.5.3 架構(gòu) 262
9.6 LangChain實(shí)現(xiàn)Function Calling 266
9.6.1 工具定義 266
9.6.2 OutputParser 267
9.6.3 使用 268
9.7 本章小結(jié) 269
第10章 實(shí)戰(zhàn)：垂直領(lǐng)域大模型 270
10.1 QLoRA微調(diào)GLM-4 270
10.1.1 定義全局變量和參數(shù) 270
10.1.2 紅十字會(huì)數(shù)據(jù)準(zhǔn)備 271
10.1.3 訓(xùn)練模型 283
10.2 大模型接入數(shù)據(jù)庫 291
10.2.1 大模型挑戰(zhàn) 291
10.2.2 數(shù)據(jù)集準(zhǔn)備 292
10.2.3 SQLite3 293
10.2.4 獲取數(shù)據(jù)庫信息 294
10.2.5 構(gòu)建tools信息 297
10.2.6 模型選擇 298
10.2.7 效果測試 299
10.3 LangChain重寫查詢 300
10.3.1 環(huán)境配置 300
10.3.2 工具使用 301
10.4 RAG檢索增強(qiáng) 302
10.4.1 自動(dòng)化數(shù)據(jù)生成 303
10.4.2 RAG搭建 303
10.5 本章小結(jié) 307
參考文獻(xiàn) 308
展開全部
大模型實(shí)戰(zhàn):微調(diào)、優(yōu)化與私有化部署 作者簡介
莊建，中國科學(xué)院高能物理研究所研究員，中國散裂中子源實(shí)驗(yàn)分總體電氣總工，CSNS實(shí)驗(yàn)控制研發(fā)團(tuán)隊(duì)負(fù)責(zé)人和學(xué)科帶頭人，主要負(fù)責(zé)組織中國散裂中子源中子譜儀的實(shí)驗(yàn)控制與數(shù)據(jù)獲取方向的研究。其中包括分布式控制，大數(shù)據(jù)的獲取、傳輸與處理，高精度分布式時(shí)間測量，人工智能技術(shù)在物理實(shí)驗(yàn)中的應(yīng)用等方向。2020年出版《深度學(xué)習(xí)圖像識(shí)別技術(shù)》一書，并榮獲機(jī)械工業(yè)出版社計(jì)算機(jī)分社"20年優(yōu)秀作者”稱號(hào)。
書友推薦
- >
羅庸西南聯(lián)大授課錄
- >
自卑與超越
- >
山海經(jīng)
- >
莉莉和章魚
- >
上帝之肋:男人的真實(shí)旅程
- >
唐代進(jìn)士錄
- >
詩經(jīng)-先民的歌唱
- >
名家?guī)阕x魯迅:故事新編
本類暢銷
