掃一掃
關(guān)注中圖網(wǎng)
官方微博
中圖價(jià):¥70.9
加入購(gòu)物車
大規(guī)模語言模型:從理論到實(shí)踐 版權(quán)信息
- ISBN：9787121467059
- 條形碼：9787121467059 ; 978-7-121-46705-9
- 裝幀：平裝-膠訂
- 冊(cè)數(shù)：暫無
- 重量：暫無
- 所屬分類：>>
大規(guī)模語言模型:從理論到實(shí)踐 本書特色
√解碼大語言模型奧秘，引領(lǐng)機(jī)器智能新時(shí)代！ √詳細(xì)介紹構(gòu)建LLM的四個(gè)主要階段：預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模和強(qiáng)化學(xué)習(xí)。每個(gè)階段都有算法、代碼、數(shù)據(jù)來源、難點(diǎn)及實(shí)踐經(jīng)驗(yàn)的詳細(xì)討論。 √結(jié)合作者在NLP領(lǐng)域多年的研究經(jīng)驗(yàn)、超300篇相關(guān)論文深度研讀感悟！ √分享作者團(tuán)隊(duì)從0開始研發(fā)復(fù)旦大學(xué)MOSS大語言模型過程中的實(shí)踐經(jīng)驗(yàn)，為讀者展示大語言模型訓(xùn)練的全流程細(xì)節(jié)。 √配全書PPT課件。
大規(guī)模語言模型:從理論到實(shí)踐 內(nèi)容簡(jiǎn)介
2023年ChatGPT火爆全球，以其為代表的人工智能大語言模型成為全球人工智能從業(yè)者關(guān)注的焦點(diǎn)。 本書詳細(xì)介紹了構(gòu)建大語言模型的四個(gè)主要階段：預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模和強(qiáng)化學(xué)習(xí)。每個(gè)階段都有算法、代碼、數(shù)據(jù)、難點(diǎn)及實(shí)踐經(jīng)驗(yàn)的詳細(xì)討論。本書以大語言模型的基礎(chǔ)理論開篇，探討了大語言模型預(yù)訓(xùn)練數(shù)據(jù)的構(gòu)建方法，以及大語言模型如何理解并服從人類指令，介紹了大語言模型的擴(kuò)展應(yīng)用和評(píng)估方法，為讀者提供了更全面的視野。 本書旨在為對(duì)大語言模型感興趣的讀者提供入門指南，也可作為高年級(jí)本科生和研究生自然語言處理相關(guān)課程的補(bǔ)充教材。
大規(guī)模語言模型:從理論到實(shí)踐 目錄
第1章 緒論 1
1.1 大語言模型的基本概念 1
1.2 大語言模型的發(fā)展歷程 4
1.3 大語言模型的構(gòu)建流程 8
1.4 本書的內(nèi)容安排 11
第2章 大語言模型基礎(chǔ) 13
2.1 Transformer結(jié)構(gòu) 13
2.1.1 嵌入表示層 14
2.1.2 注意力層 16
2.1.3 前饋層 18
2.1.4 殘差連接與層歸一化 19
2.1.5 編碼器和解碼器結(jié)構(gòu) 20
2.2 生成式預(yù)訓(xùn)練語言模型GPT 25
2.2.1 無監(jiān)督預(yù)訓(xùn)練 26
2.2.2 有監(jiān)督下游任務(wù)微調(diào) 27
2.2.3 基于HuggingFace的預(yù)訓(xùn)練語言模型實(shí)踐 27
2.3 大語言模型的結(jié)構(gòu) 33
2.3.1 LLaMA的模型結(jié)構(gòu) 34
2.3.2 注意力機(jī)制優(yōu)化 40
2.4 實(shí)踐思考 47
第3章 大語言模型預(yù)訓(xùn)練數(shù)據(jù) 49
3.1 數(shù)據(jù)來源 49
3.1.1 通用數(shù)據(jù) 50
3.1.2 專業(yè)數(shù)據(jù) 51
3.2 數(shù)據(jù)處理 52
3.2.1 質(zhì)量過濾 52
3.2.2 冗余去除 53
3.2.3 隱私消除 55
3.2.4 詞元切分 55
3.3 數(shù)據(jù)影響分析 61
3.3.1 數(shù)據(jù)規(guī)模 61
3.3.2 數(shù)據(jù)質(zhì)量 64
3.3.3 數(shù)據(jù)多樣性 66
3.4 開源數(shù)據(jù)集 68
3.4.1 Pile 68
3.4.2 ROOTS 71
3.4.3 RefinedWeb 73
3.4.4 SlimPajama 75
3.5 實(shí)踐思考 79
第4章 分布式訓(xùn)練 80
4.1 分布式訓(xùn)練概述 80
4.2 分布式訓(xùn)練的并行策略 83
4.2.1 數(shù)據(jù)并行 84
4.2.2 模型并行 88
4.2.3 混合并行 96
4.2.4 計(jì)算設(shè)備內(nèi)存優(yōu)化 97
4.3 分布式訓(xùn)練的集群架構(gòu) 102
4.3.1 高性能計(jì)算集群的典型硬件組成 102
4.3.2 參數(shù)服務(wù)器架構(gòu) 103
4.3.3 去中心化架構(gòu) 104
4.4 DeepSpeed實(shí)踐 110
4.4.1 基礎(chǔ)概念 112
4.4.2 LLaMA分布式訓(xùn)練實(shí)踐 115
4.5 實(shí)踐思考 127
第5章 有監(jiān)督微調(diào) 128
5.1 提示學(xué)習(xí)和語境學(xué)習(xí) 128
5.1.1 提示學(xué)習(xí) 128
5.1.2 語境學(xué)習(xí) 130
5.2 高效模型微調(diào) 131
5.2.1 LoRA 131
5.2.2 LoRA的變體 135
5.3 模型上下文窗口擴(kuò)展 137
5.3.1 具有外推能力的位置編碼 137
5.3.2 插值法 138
5.4 指令數(shù)據(jù)的構(gòu)建 141
5.4.1 手動(dòng)構(gòu)建指令 141
5.4.2 自動(dòng)構(gòu)建指令 142
5.4.3 開源指令數(shù)據(jù)集 146
5.5 DeepSpeed-Chat SFT實(shí)踐 147
5.5.1 代碼結(jié)構(gòu) 148
5.5.2 數(shù)據(jù)預(yù)處理 151
5.5.3 自定義模型 153
5.5.4 模型訓(xùn)練 155
5.5.5 模型推理 156
5.6 實(shí)踐思考 157
第6章 強(qiáng)化學(xué)習(xí) 158
6.1 基于人類反饋的強(qiáng)化學(xué)習(xí) 158
6.1.1 強(qiáng)化學(xué)習(xí)概述 159
6.1.2 強(qiáng)化學(xué)習(xí)與有監(jiān)督學(xué)習(xí)的區(qū)別 161
6.1.3 基于人類反饋的強(qiáng)化學(xué)習(xí)流程 162
6.2 獎(jiǎng)勵(lì)模型 163
6.2.1 數(shù)據(jù)收集 164
6.2.2 模型訓(xùn)練 166
6.2.3 開源數(shù)據(jù) 167
6.3 近端策略優(yōu)化 168
6.3.1 策略梯度 168
6.3.2 廣義優(yōu)勢(shì)估計(jì) 173
6.3.3 近端策略優(yōu)化算法 175
6.4 MOSS-RLHF實(shí)踐 180
6.4.1 獎(jiǎng)勵(lì)模型訓(xùn)練 180
6.4.2 PPO微調(diào) 181
6.5 實(shí)踐思考 191
第7章 大語言模型應(yīng)用 193
7.1 推理規(guī)劃 193
7.1.1 思維鏈提示 193
7.1.2 由少至多提示 196
7.2 綜合應(yīng)用框架 197
7.2.1 LangChain框架核心模塊 198
7.2.2 知識(shí)庫問答系統(tǒng)實(shí)踐 216
7.3 智能代理 219
7.3.1 智能代理的組成 219
7.3.2 智能代理的應(yīng)用實(shí)例 221
7.4 多模態(tài)大語言模型 228
7.4.1 模型架構(gòu) 229
7.4.2 數(shù)據(jù)收集與訓(xùn)練策略 232
7.4.3 多模態(tài)能力示例 236
7.5 大語言模型推理優(yōu)化 238
7.5.1 FastServe框架 241
7.5.2 vLLM推理框架實(shí)踐 242
7.6 實(shí)踐思考 244
第8章 大語言模型評(píng)估 245
8.1 模型評(píng)估概述 245
8.2 大語言模型評(píng)估體系 247
8.2.1 知識(shí)與能力 247
8.2.2 倫理與安全 250
8.2.3 垂直領(lǐng)域評(píng)估 255
8.3 大語言模型評(píng)估方法 260
8.3.1 評(píng)估指標(biāo) 260
8.3.2 評(píng)估方法 267
8.4 大語言模型評(píng)估實(shí)踐 274
8.4.1 基礎(chǔ)模型評(píng)估 274
8.4.2 SFT模型和RL模型評(píng)估 277
8.5 實(shí)踐思考 282
參考文獻(xiàn) 284
索引 303
展開全部
大規(guī)模語言模型:從理論到實(shí)踐 相關(guān)資料
大規(guī)模語言模型的成功研發(fā)和應(yīng)用，幫助人類開啟了通用人工智能時(shí)代的大門。《大規(guī)模語言模型：從理論到實(shí)踐》是張奇教授等幾位作者的傾心之作，作者以深厚的學(xué)術(shù)造詣和豐富的實(shí)踐經(jīng)驗(yàn)，為我們揭示了大規(guī)模語言模型的基礎(chǔ)理論、技術(shù)演進(jìn)、訓(xùn)練方法和實(shí)踐應(yīng)用。本書不僅為讀者提供了翔實(shí)的技術(shù)細(xì)節(jié)，更展示了作者對(duì)人工智能領(lǐng)域的嚴(yán)謹(jǐn)理解。對(duì)于從事自然語言處理、深度學(xué)習(xí)等領(lǐng)域的研究者和工程師來說，本書無疑是進(jìn)入大規(guī)模語言模型領(lǐng)域的案頭參考書。 王小川，百川智能創(chuàng)始人兼CEO 大規(guī)模語言模型是技術(shù)發(fā)展最快的研究和產(chǎn)業(yè)方向，沒有之一。然而，很多人僅知其然不知其所以然，很多學(xué)生也沒有深入研究大規(guī)模語言模型的實(shí)踐機(jī)會(huì)。本書作者結(jié)合自己在自然語言處理領(lǐng)域多年的研究經(jīng)驗(yàn)、近300篇相關(guān)論文深度研讀感悟，特別是作者團(tuán)隊(duì)從零開始研發(fā)復(fù)旦大學(xué)大規(guī)模語言模型過程中經(jīng)歷的切身實(shí)踐經(jīng)驗(yàn)，最終形成本書，為讀者展示了大規(guī)模語言模型訓(xùn)練的全流程細(xì)節(jié)，同時(shí)深入淺出地解釋了設(shè)計(jì)每一步的原理和效用，值得所有具備科學(xué)精神、想搞清楚大規(guī)模語言模型到底是怎么訓(xùn)出來的投資人、管理者認(rèn)真閱讀，更值得所有想從事或剛從事大規(guī)模語言模型研究和改進(jìn)的研究人員深度閱讀。 胡國(guó)平，科大訊飛高級(jí)副總裁，認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室主任 《大規(guī)模語言模型：從理論到實(shí)踐》一書深入闡述了大規(guī)模語言模型的演變歷程、理論基礎(chǔ)及開發(fā)實(shí)踐。本書聚焦大規(guī)模語言模型構(gòu)建的核心技術(shù)，包括語言模型預(yù)訓(xùn)練、指令微調(diào)和強(qiáng)化學(xué)習(xí)，并細(xì)致地介紹了每個(gè)階段所使用的算法、數(shù)據(jù)來源、面臨的難題及實(shí)踐經(jīng)驗(yàn)。此外，本書探討了大規(guī)模語言模型的應(yīng)用領(lǐng)域和評(píng)價(jià)方法，為對(duì)大規(guī)模語言模型研究感興趣的研究者提供了理論支持和實(shí)踐指導(dǎo)。不僅如此，對(duì)于希望將大規(guī)模語言模型應(yīng)用于實(shí)際問題解決的研發(fā)人員來說，本書同樣具有重要的參考價(jià)值。特此力薦！ 范建平，聯(lián)想集團(tuán)副總裁、聯(lián)想研究院人工智能實(shí)驗(yàn)室負(fù)責(zé)人 我始終相信，大規(guī)模語言模型帶來了一場(chǎng)新的科技革命，這場(chǎng)革命會(huì)逐漸滲透到整個(gè)社會(huì)的方方面面，帶來極其深遠(yuǎn)的影響。了解、理解直至掌握大規(guī)模語言模型技術(shù)，對(duì)于眾多技術(shù)從業(yè)者而言迫在眉睫。出自復(fù)旦大學(xué)自然語言處理團(tuán)隊(duì)的這本書的出版適逢其時(shí)，作者團(tuán)隊(duì)堪稱豪華，在學(xué)術(shù)界也一直以嚴(yán)謹(jǐn)著稱。這本書不僅介紹了大規(guī)模語言模型的基本概念和原理，還提供了大量的工程實(shí)踐方法和示例代碼。無論是初學(xué)者還是經(jīng)驗(yàn)豐富的從業(yè)者，都會(huì)從中受益。這本書，你值得擁有！ 王斌，小米集團(tuán)AI 實(shí)驗(yàn)室主任、自然語言處理首席科學(xué)家
大規(guī)模語言模型:從理論到實(shí)踐 作者簡(jiǎn)介
張奇
復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、博士生導(dǎo)師。主要研究方向是自然語言處理和信息檢索。兼任中國(guó)中文信息學(xué)會(huì)理事，中國(guó)中文信息學(xué)會(huì)信息檢索專委會(huì)常務(wù)委員，中國(guó)人工智能學(xué)會(huì)青年工作委員會(huì)常務(wù)委員。多次擔(dān)任ACL、EMNLP、COLING、全國(guó)信息檢索大會(huì)等重要國(guó)際、國(guó)內(nèi)會(huì)議的程序委員會(huì)主席、領(lǐng)域主席、講習(xí)班主席等。承擔(dān)國(guó)家重點(diǎn)研發(fā)計(jì)劃課題、國(guó)家自然科學(xué)基金、上海市科委等多個(gè)項(xiàng)目，在國(guó)際重要學(xué)術(shù)刊物和會(huì)議上發(fā)表論文150余篇，獲得美國(guó)授權(quán)專利4項(xiàng)。獲得WSDM 2014最佳論文提名獎(jiǎng)、COLING 2018領(lǐng)域主席推薦獎(jiǎng)、NLPCC 2019杰出論文獎(jiǎng)、COLING 2022杰出論文獎(jiǎng)。獲得上海市“晨光計(jì)劃”人才計(jì)劃、復(fù)旦大學(xué)“卓越2025”人才培育計(jì)劃等支持，獲得錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)一等獎(jiǎng)、漢王青年創(chuàng)新一等獎(jiǎng)、上海市科技進(jìn)步二等獎(jiǎng)、ACM上海新星提名獎(jiǎng)、IBM Faculty Award等獎(jiǎng)項(xiàng)。
桂韜張奇
復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、博士生導(dǎo)師。主要研究方向是自然語言處理和信息檢索。兼任中國(guó)中文信息學(xué)會(huì)理事，中國(guó)中文信息學(xué)會(huì)信息檢索專委會(huì)常務(wù)委員，中國(guó)人工智能學(xué)會(huì)青年工作委員會(huì)常務(wù)委員。多次擔(dān)任ACL、EMNLP、COLING、全國(guó)信息檢索大會(huì)等重要國(guó)際、國(guó)內(nèi)會(huì)議的程序委員會(huì)主席、領(lǐng)域主席、講習(xí)班主席等。承擔(dān)國(guó)家重點(diǎn)研發(fā)計(jì)劃課題、國(guó)家自然科學(xué)基金、上海市科委等多個(gè)項(xiàng)目，在國(guó)際重要學(xué)術(shù)刊物和會(huì)議上發(fā)表論文150余篇，獲得美國(guó)授權(quán)專利4項(xiàng)。獲得WSDM 2014最佳論文提名獎(jiǎng)、COLING 2018領(lǐng)域主席推薦獎(jiǎng)、NLPCC 2019杰出論文獎(jiǎng)、COLING 2022杰出論文獎(jiǎng)。獲得上海市“晨光計(jì)劃”人才計(jì)劃、復(fù)旦大學(xué)“卓越2025”人才培育計(jì)劃等支持，獲得錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)一等獎(jiǎng)、漢王青年創(chuàng)新一等獎(jiǎng)、上海市科技進(jìn)步二等獎(jiǎng)、ACM上海新星提名獎(jiǎng)、IBM Faculty Award等獎(jiǎng)項(xiàng)。
桂韜
復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室副研究員、碩士生導(dǎo)師。研究領(lǐng)域?yàn)轭A(yù)訓(xùn)練模型、信息抽取和魯棒模型。在高水平國(guó)際學(xué)術(shù)期刊和會(huì)議上發(fā)表論文40余篇，主持國(guó)家自然科學(xué)基金、計(jì)算機(jī)學(xué)會(huì)、人工智能學(xué)會(huì)的多個(gè)基金項(xiàng)目。獲得錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)一等獎(jiǎng)、中國(guó)中文信息學(xué)會(huì)優(yōu)秀博士論文獎(jiǎng)、COLING 2018最佳論文提名獎(jiǎng)、NLPCC 2019杰出論文獎(jiǎng)，入選第七屆中國(guó)科協(xié)青年人才托舉工程，入選上海市2023年度“科技創(chuàng)新行動(dòng)計(jì)劃”啟明星項(xiàng)目，獲得2023年度世界人工智能大會(huì)云帆獎(jiǎng)。
鄭銳
復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院博士生，導(dǎo)師為張奇教授。研究興趣包括大模型對(duì)齊、魯棒性等。MOSS-RLHF開源項(xiàng)目負(fù)責(zé)人，文本魯棒性評(píng)測(cè)工具TextFlint的核心貢獻(xiàn)者，在ACL、EMNLP、COLING等國(guó)際會(huì)議上發(fā)表學(xué)術(shù)論文十余篇。
黃萱菁
復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、博士生導(dǎo)師。主要從事人工智能、自然語言處理和信息檢索研究。兼任中國(guó)中文信息學(xué)會(huì)理事，中國(guó)計(jì)算機(jī)學(xué)會(huì)自然語言處理專委會(huì)副主任，中國(guó)人工智能學(xué)會(huì)女科技工作者委員會(huì)副主任，計(jì)算語言學(xué)學(xué)會(huì)亞太分會(huì)副主席，亞太信息檢索學(xué)會(huì)指導(dǎo)委員會(huì)委員。承擔(dān)國(guó)家重點(diǎn)研發(fā)計(jì)劃課題、國(guó)家自然科學(xué)基金等多個(gè)項(xiàng)目，在國(guó)際重要學(xué)術(shù)刊物和會(huì)議上發(fā)表論文180余篇。獲得錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)一等獎(jiǎng)、上海市育才獎(jiǎng)、人工智能全球女性學(xué)者、福布斯中國(guó)科技女性等多項(xiàng)榮譽(yù)。
書友推薦
- >
羅庸西南聯(lián)大授課錄
- >
小考拉的故事-套裝共3冊(cè)
- >
新文學(xué)天穹兩巨星--魯迅與胡適/紅燭學(xué)術(shù)叢書(紅燭學(xué)術(shù)叢書)
- >
苦雨齋序跋文-周作人自編集
- >
經(jīng)典常談
- >
山海經(jīng)
- >
龍榆生：詞曲概論/大家小書
- >
有舍有得是人生
本類暢銷
