掃一掃
關(guān)注中圖網(wǎng)
官方微博
>
大模型垂直領(lǐng)域低算力遷移 微調(diào)、部署與優(yōu)化
本類五星書更多>
-
>
貨幣大歷史:金融霸權(quán)與大國興衰六百年
-
>
(精)方力鈞作品圖錄
-
>
《藏書報》2021合訂本
-
>
(精)中國當(dāng)代書畫名家作品集·范碩:書法卷+繪畫卷(全2卷)
-
>
(噴繪樓閣版)女主臨朝:武則天的權(quán)力之路
-
>
書里掉出來一只狼+狼的故事-全2冊
-
>
奇思妙想創(chuàng)意玩具書(精裝4冊)
大模型垂直領(lǐng)域低算力遷移 微調(diào)、部署與優(yōu)化 版權(quán)信息
- ISBN：9787111767671
- 條形碼：9787111767671 ; 978-7-111-76767-1
- 裝幀：平裝-膠訂
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：
大模型垂直領(lǐng)域低算力遷移 微調(diào)、部署與優(yōu)化 本書特色
（1）作者背景權(quán)威：作者是湖南國家應(yīng)用數(shù)學(xué)中心副主任、湘潭大學(xué)的博導(dǎo)、科技部國家重點子課題（大模型相關(guān)）的負(fù)責(zé)人，是資深的大模型技術(shù)專家和布道者。（2）作者經(jīng)驗豐富：作者在司法、工業(yè)設(shè)計等多個領(lǐng)域成功實現(xiàn)了開源大模型向垂直領(lǐng)域的遷移，有豐富的實戰(zhàn)經(jīng)驗。（3）涵蓋全部技術(shù)棧：從遷移方式、低算力微調(diào)、推理優(yōu)化到開源基座模型的選擇指標(biāo)等，本書詳細(xì)介紹了構(gòu)建垂直領(lǐng)域大模型需要的全部技術(shù)棧。（4）涵蓋構(gòu)建全流程：從垂直大模型的遷移、微調(diào)到部署和性能優(yōu)化，本書詳細(xì)講解了構(gòu)建垂直領(lǐng)域大模型的全流程
大模型垂直領(lǐng)域低算力遷移 微調(diào)、部署與優(yōu)化 內(nèi)容簡介
打造垂直領(lǐng)域大模型的技術(shù)競爭力，構(gòu)筑AI時代的技術(shù)護城河。
本書專為希望將開源大模型應(yīng)用于垂直領(lǐng)域的技術(shù)人員和企業(yè)設(shè)計，從遷移方法到生產(chǎn)部署，覆蓋構(gòu)建垂直領(lǐng)域大模型的完整技術(shù)路徑，為讀者提供可操作性強的指導(dǎo)。
大模型垂直領(lǐng)域低算力遷移 微調(diào)、部署與優(yōu)化 目錄
CONTENTS目 錄前言第1章 垂直領(lǐng)域大模型的行業(yè)變革與機遇 11.1 大模型下的行業(yè)變革 11.1.1 大模型的iPhone時刻 11.1.2 大模型的全行業(yè)重塑 31.1.3 勞動力市場的變革 71.2 垂直領(lǐng)域大模型遷移的動機 71.2.1 商業(yè)價值 71.2.2 行業(yè)技術(shù)護城河 91.2.3 領(lǐng)域數(shù)據(jù)優(yōu)勢 91.3 垂直領(lǐng)域大模型遷移的機遇 10CONTENTS目 錄前言第1章 垂直領(lǐng)域大模型的行業(yè)變革與機遇 11.1 大模型下的行業(yè)變革 11.1.1 大模型的iPhone時刻 11.1.2 大模型的全行業(yè)重塑 31.1.3 勞動力市場的變革 71.2 垂直領(lǐng)域大模型遷移的動機 71.2.1 商業(yè)價值 71.2.2 行業(yè)技術(shù)護城河 91.2.3 領(lǐng)域數(shù)據(jù)優(yōu)勢 91.3 垂直領(lǐng)域大模型遷移的機遇 10第2章 垂直領(lǐng)域遷移技術(shù)棧 112.1 垂直領(lǐng)域遷移的方式 112.1.1 提示工程 122.1.2 檢索增強生成 152.1.3 參數(shù)高效微調(diào) 172.1.4 全參數(shù)微調(diào) 182.1.5 從頭預(yù)訓(xùn)練 192.1.6 垂直領(lǐng)域遷移低算力技術(shù)選型 202.2 低算力微調(diào) 202.3 推理優(yōu)化 222.3.1 模型編譯 232.3.2 模型壓縮 242.3.3 模型分區(qū) 25第3章 大模型的開源生態(tài) 273.1 大模型的開源社區(qū) 273.1.1 Meta 273.1.2 Hugging Face 283.1.3 微軟 313.1.4 英偉達(dá) 323.2 開源生態(tài)下基座模型選擇的關(guān)鍵指標(biāo) 333.2.1 參數(shù)規(guī)模 333.2.2 訓(xùn)練Token 343.2.3 上下文窗口 353.2.4 綜合評測 363.2.5 商業(yè)許可 373.3 開源基座模型LLaMA系列 383.3.1 LLaMA 2 383.3.2 LLaMA 3 403.3.3 商用限制 40第4章 自舉領(lǐng)域數(shù)據(jù)的獲取 424.1 指令自舉標(biāo)注 424.2 自舉無監(jiān)督標(biāo)注 444.2.1 指令生成階段 444.2.2 答案生成階段 464.2.3 過濾和修剪階段 474.3 自我策展 474.3.1 初始化階段 484.3.2 自我增強階段 494.3.3 自我策展階段 494.4 自我獎勵 504.4.1 種子數(shù)據(jù) 514.4.2 自我指令創(chuàng)建 514.4.3 指令遵循訓(xùn)練 524.4.4 迭代訓(xùn)練 53第5章 數(shù)據(jù)處理 545.1 數(shù)據(jù)處理的挑戰(zhàn) 545.2 數(shù)據(jù)質(zhì)量 555.2.1 文本提取 565.2.2 數(shù)據(jù)去重 565.2.3 質(zhì)量過濾 585.2.4 內(nèi)容毒性過濾 595.3 高效數(shù)據(jù)集訪問 605.3.1 數(shù)據(jù)集來源 605.3.2 列式內(nèi)存格式 615.3.3 向量化計算 635.3.4 零復(fù)制數(shù)據(jù)交換 645.3.5 虛擬內(nèi)存 65第6章 大模型抽象 666.1 計算圖 666.2 靜態(tài)計算圖 696.3 動態(tài)計算圖 706.4 算子優(yōu)化與調(diào)度 736.4.1 計算圖與算子優(yōu)化 736.4.2 計算圖與算子調(diào)度 746.4.3 串行調(diào)度與并行調(diào)度 746.5 大模型中的張量與算子 766.5.1 輸入層 776.5.2 自注意力層 786.5.3 前饋網(wǎng)絡(luò)層 796.5.4 輸出層 796.6 大模型的序列化 806.6.1 序列化文件的類型 806.6.2 TensorFlow模型序列化 816.6.3 PyTorch模型序列化 846.6.4 Safetensors序列化格式 86第7章 LoRA低算力微調(diào) 897.1 LoRA的原理 897.2 LoRA的重參數(shù)化方法 917.3 秩的選擇 927.4 LoRA的多任務(wù)處理策略 937.5 LoRA量化版本QLoRA 947.6 LoRA微調(diào)類型 957.6.1 繼續(xù)預(yù)訓(xùn)練 957.6.2 RLHF 967.6.3 DPO 97第8章 大模型的分布式訓(xùn)練 998.1 分布式訓(xùn)練的挑戰(zhàn) 998.1.1 算力與內(nèi)存瓶頸 998.1.2 分布式訓(xùn)練系統(tǒng)的設(shè)計挑戰(zhàn) 1008.2 分布式集群架構(gòu) 1028.2.1 GPU集群架構(gòu) 1028.2.2 集合通信算子 1048.2.3 通信拓?fù)?1088.3 分布式訓(xùn)練的通信架構(gòu) 1098.3.1 基于參數(shù)服務(wù)器的架構(gòu) 1098.3.2 基于歸約的架構(gòu) 1118.4 并行模式 1138.4.1 數(shù)據(jù)并行 1138.4.2 張量并行 1158.4.3 流水線并行 1168.4.4 并行模式的對比 1178.5 大模型的張量并行 1188.5.1 輸入層 1188.5.2 輸出層 1208.5.3 多層感知機 1218.5.4 自注意力 1228.6 數(shù)據(jù)并行的內(nèi)存優(yōu)化 1238.6.1 設(shè)備內(nèi)存占用 1248.6.2 ZeRO技術(shù) 1258.6.3 ZeRO-Offload技術(shù) 128第9章 推理優(yōu)化技術(shù) 1319.1 計算加速 1319.1.1 算子融合 1319.1.2 并行推理 1349.2 內(nèi)存優(yōu)化 1359.2.1 KV緩存 1359.2.2 頁注意力 1379.2.3 快速注意力 1399.3 吞吐量優(yōu)化 1439.3.1 內(nèi)存I/O瓶頸 1439.3.2 靜態(tài)批處理 1439.3.3 連續(xù)批處理 1449.3.4 動態(tài)分割融合 1459.4 量化 1479.4.1 量化的動機 1479.4.2 量化的原理 1489.4.3 LLM.int8() 1509.4.4 GPTQ 152第10章 大模型的編譯優(yōu)化 15610.1 深度學(xué)習(xí)編譯與大模型編譯 15610.1.1 深度學(xué)習(xí)編譯 15610.1.2 多級漸進(jìn)優(yōu)化 15810.1.3 硬件優(yōu)化偏好 15910.1.4 大模型的編譯特點 16110.2 深度學(xué)習(xí)框架
展開全部
大模型垂直領(lǐng)域低算力遷移 微調(diào)、部署與優(yōu)化 作者簡介
程戈，博士生導(dǎo)師，湘潭大學(xué)技術(shù)轉(zhuǎn)移中心副主任，湘潭市京東智能城市與大數(shù)據(jù)研究院副院長，湘潭大學(xué)計算機學(xué)院.網(wǎng)絡(luò)空間學(xué)院教授，CCF計算法學(xué)會執(zhí)委，湖南省知識產(chǎn)權(quán)保護專家，湖南省知識產(chǎn)權(quán)行政保護技術(shù)調(diào)查官。2011年獲得華中科技大學(xué)計算機系統(tǒng)結(jié)構(gòu)專業(yè)的工學(xué)博士學(xué)位。研究方面，主要從事知識表示學(xué)習(xí)與內(nèi)容安全問題研究，并逐漸聚焦于采用類似Chatgpt大規(guī)模語言模型解決人工智能在司法行業(yè)中應(yīng)用的相關(guān)場景。近年來，主持國家重點研發(fā)子課題2項，湖南省重點研發(fā)1項，國家自科基金1項，博士點基金1項，參與其他國家與省部級項目10余項；在國內(nèi)外重要SSCI/SCI/EI學(xué)術(shù)期刊和會議發(fā)表論文 30 多篇；申請發(fā)明專利20多項，獲得發(fā)明專利授權(quán) 20多項，軟件著作權(quán)10多項。社會服務(wù)方面，產(chǎn)學(xué)研合作求真務(wù)實，在北京捷通華聲科技有限公司等6家企業(yè)擔(dān)任技術(shù)顧問，主持參與橫向課題10余項，多項成果轉(zhuǎn)化應(yīng)用創(chuàng)效，其中語音識別的單項成果廣泛應(yīng)用于北京捷通華聲科技有限公司的車載導(dǎo)航系統(tǒng)中。擔(dān)任瀟湘大數(shù)據(jù)研究院研究員，大數(shù)據(jù)與智慧司法研究中心研究員，省創(chuàng)新創(chuàng)業(yè)大賽的評委。
書友推薦
- >
伊索寓言-世界文學(xué)名著典藏-全譯本
- >
我從未如此眷戀人間
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
苦雨齋序跋文-周作人自編集
- >
山海經(jīng)
- >
我與地壇
- >
人文閱讀與收藏·良友文學(xué)叢書:一天的工作
本類暢銷
