大型語言模型實(shí)戰(zhàn)指南:應(yīng)用實(shí)踐與場景落地 版權(quán)信息
- ISBN:9787111758457
- 條形碼:9787111758457 ; 978-7-111-75845-7
- 裝幀:一般膠版紙
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>
大型語言模型實(shí)戰(zhàn)指南:應(yīng)用實(shí)踐與場景落地 本書特色
資深大模型專家撰寫,詳解大模型技術(shù)、算法、原理,手把手教大模型應(yīng)用開發(fā)方法,5家大模型團(tuán)隊(duì)負(fù)責(zé)人力薦
(1)作者資深,質(zhì)量有保障作者是NLP和AI領(lǐng)域的資深專家,大模型領(lǐng)域的先驅(qū)者,實(shí)戰(zhàn)經(jīng)驗(yàn)豐富。
(2)理論扎實(shí),讓你透徹理解大模型核心技術(shù)深入解析大模型的基礎(chǔ)理論、算法實(shí)現(xiàn)、數(shù)據(jù)構(gòu)造流程、模型微調(diào)方法、偏好對齊方法等,并提供大量代碼及注解。
(3)注重實(shí)戰(zhàn),手把手教你開發(fā)大模型應(yīng)用手把手教你如何構(gòu)建簡單但強(qiáng)大的應(yīng)用程序,如角色扮演、信息抽取、知識(shí)問答、AI Agent等。
(4)指導(dǎo)行業(yè)實(shí)戰(zhàn),讓你將大模型真正落地深入探討了領(lǐng)域特定大模型的應(yīng)用,如法律、醫(yī)療、金融和教育等。
大型語言模型實(shí)戰(zhàn)指南:應(yīng)用實(shí)踐與場景落地 內(nèi)容簡介
這是一本系統(tǒng)梳理并深入解析大模型的基礎(chǔ)理論、算法實(shí)現(xiàn)、數(shù)據(jù)構(gòu)造流程、模型微調(diào)方法、偏好對齊方法的著作,也是一本能手把手教你構(gòu)建角色扮演、信息抽取、知識(shí)問答、AI Agent等各種強(qiáng)大的應(yīng)用程序的著作。本書得到了零一萬物、面壁智能、通義千問、百姓AI、瀾舟科技等國內(nèi)主流大模型團(tuán)隊(duì)的負(fù)責(zé)人的高度評價(jià)和鼎力推薦。
具體地,通過本書你能了解或掌握以下知識(shí):(1)大型語言模型的基礎(chǔ)理論,包括常見的模型架構(gòu)、領(lǐng)域大型語言模型以及如何評估大模型的性能。
(2)大模型微調(diào)的關(guān)鍵步驟:從數(shù)據(jù)的收集、清洗到篩選,直至微調(diào)訓(xùn)練的技術(shù)細(xì)節(jié)。
(3)大模型人類偏好對齊方法,從基于人工反饋的強(qiáng)化學(xué)習(xí)框架到當(dāng)前主流的對齊方法。
(4)通過GPTs快速搭建個(gè)性化的專屬ChatGPT應(yīng)用。
(5)通過開源模型在多種場景下搭建大模型應(yīng)用,包括:表格查詢、角色扮演、信息抽取、知識(shí)問答、AI Agent等。
(6)掌握大模型Agent方法以及Agent常用框架。
(7)基于LangChain框架構(gòu)建一個(gè)AutoGPT應(yīng)用。
本書集大模型理論、實(shí)踐和場景落地于一體,提供大量經(jīng)詳細(xì)注釋的代碼,方便讀者理解和實(shí)操。總之,不管里是想深入研究大模型本身,還是進(jìn)行大模型相關(guān)應(yīng)用搭建,本書都應(yīng)該能給你頗具價(jià)值的技術(shù)啟發(fā)與思考,讓你在大模型的路上快速前行,少走彎路。
大型語言模型實(shí)戰(zhàn)指南:應(yīng)用實(shí)踐與場景落地 目錄
CONTENTS目 錄前言第1章 大型語言模型基礎(chǔ) ?11.1 Transformer基礎(chǔ) ?11.2 常用的大型語言模型 ?41.2.1 GPT系列模型 ?41.2.2 OPT模型 ?111.2.3 Bloom模型 ?121.2.4 GLM系列模型 ?121.2.5 LLaMA系列模型 ?141.2.6 Baichuan系列模型 ?161.2.7 Qwen系列模型 ?181.2.8 Skywork模型 ?191.3 領(lǐng)域大型語言模型 ?211.3.1 法律大型語言模型 ?211.3.2 醫(yī)療大型語言模型 ?241.3.3 金融大型語言模型 ?271.3.4 教育大型語言模型 ?291.4 大型語言模型評估 ?301.4.1 大型語言模型的評估內(nèi)容 ?301.4.2 大型語言模型的評估方法 ?321.4.3 大型語言模型評估榜單 ?331.5 本章小結(jié) ?37第2章 大型語言模型的常用 微調(diào)方法 ?382.1 數(shù)據(jù)構(gòu)造與清洗 ?382.1.1 數(shù)據(jù)構(gòu)造方法 ?392.1.2 數(shù)據(jù)清洗方法 ?432.2 分詞器構(gòu)造 ?442.2.1 分詞器概述 ?442.2.2 BPE分詞器 ?452.2.3 WordPiece分詞器 ?522.2.4 Unigram分詞器 ?562.2.5 SentencePiece分詞器 ?582.2.6 詞表融合 ?622.3 大型語言模型的微調(diào)方法 ?632.3.1 前綴調(diào)優(yōu) ?632.3.2 提示調(diào)優(yōu) ?642.3.3 P-Tuning v2 ?652.3.4 LoRA ?652.3.5 DyLoRA ?662.3.6 AdaLoRA ?672.3.7 QLoRA ?672.3.8 QA-LoRA ?682.3.9 LongLoRA ?692.3.10 VeRA ?692.3.11 S-LoRA ?702.4 基于PEFT的LLaMA模型微調(diào)實(shí)戰(zhàn) ?712.4.1 項(xiàng)目介紹 ?712.4.2 數(shù)據(jù)預(yù)處理 ?712.4.3 模型微調(diào) ?722.4.4 模型預(yù)測 ?772.5 本章小結(jié) ?78第3章 大型語言模型的人類偏好對齊 ?793.1 基于人類反饋的強(qiáng)化學(xué)習(xí)框架 ?793.2 前沿偏好對齊方法 ?843.2.1 RRHF ?843.2.2 RLAIF ?853.2.3 DPO ?873.2.4 APO ?893.3 基于DPO的偏好對齊實(shí)戰(zhàn) ?903.3.1 數(shù)據(jù)集介紹 ?903.3.2 TRL框架介紹 ?923.3.3 訓(xùn)練代碼解析 ?933.4 本章小結(jié) ?96第4章 創(chuàng)建個(gè)人專屬的ChatGPT—GPTs ?974.1 GPTs初體驗(yàn) ?974.2 GPTs的初階使用 ?1054.2.1 知識(shí)庫的使用 ?1054.2.2 內(nèi)置插件的使用 ?1084.2.3 知識(shí)庫與內(nèi)置插件的結(jié)合使用 ?1114.3 GPTs的高階使用 ?1134.4 本章小結(jié) ?122第5章 大型語言模型SQL任務(wù)實(shí)戰(zhàn) ?1235.1 公開數(shù)據(jù)集 ?1235.1.1 英文公開數(shù)據(jù)集 ?1235.1.2 中文公開數(shù)據(jù)集 ?1285.2 主流方法 ?1325.2.1 基于規(guī)則的方法 ?1335.2.2 基于深度學(xué)習(xí)的方法 ?1335.2.3 基于預(yù)訓(xùn)練語言模型的方法 ?1365.2.4 基于大型語言模型的方法 ?1365.3 Text2SQL任務(wù)實(shí)戰(zhàn) ?1415.3.1 項(xiàng)目介紹 ?1415.3.2 數(shù)據(jù)預(yù)處理 ?1425.3.3 模型微調(diào) ?1475.3.4 模型預(yù)測 ?1495.4 本章小結(jié) ?150第6章 大型語言模型的角色扮演應(yīng)用 ?1516.1 角色扮演 ?1516.1.1 大型語言模型如何進(jìn)行角色扮演 ?1536.1.2 角色扮演數(shù)據(jù)的構(gòu)造方法 ?1556.1.3 大型語言模型角色扮演的能力評估 ?1556.2 角色扮演實(shí)戰(zhàn)測試 ?1566.3 基于Baichuan的角色扮演模型微調(diào) ?1596.3.1 項(xiàng)目介紹 ?1596.3.2 數(shù)據(jù)預(yù)處理 ?1606.3.3 模型微調(diào) ?1646.3.4 模型預(yù)測 ?1716.4 本章小結(jié) 175第7章 大型語言模型的對話要素抽取應(yīng)用 ?1767.1 對話要素抽取 ?1767.2 對話要素抽取實(shí)戰(zhàn)測試 ?1777.2.1 基于GPT-3.5 API進(jìn)行對話要素抽取 ?1787.2.2 基于Qwen-1.8B模型進(jìn)行對話要素抽取 ?1807.3 基于Qwen的對話要素抽取 模型微調(diào) ?1837.3.1 項(xiàng)目介紹 ?1837.3.2 數(shù)據(jù)預(yù)處理 ?1837.3.3 模型微調(diào) ?1907.3.4 模型預(yù)測 ?1987.4 本章小結(jié) ?202第8章 Agent應(yīng)用開發(fā) ?2038.1 Agent概述 ?2038.2 Agent的主要模塊 ?2058.3 Agent的行為決策機(jī)制 ?2078.4 主流Agent 框架 ?2118.4.1 LangChain框架 ?2118.4.2 LlamaIndex框架 ?2148.4.3 AutoGPT框架 ?2158.4.4 AutoGen 框架 ?2168.4.5 SuperAGI框架 ?2198.5 本章小結(jié) ?221第9章 基于知識(shí)庫的大型語言模型問答應(yīng)用 ?2229.1 基于知識(shí)庫問答 ?2229.2 向量數(shù)據(jù)庫 ?2249.2.1 文本的向量表征 ?2259.2.2 向量的距離度量方法 ?2289.2.3 常用的向量數(shù)據(jù)庫 ?2299.3 基于知識(shí)庫的大型語言模型 問答實(shí)戰(zhàn) ?2319.3.1 BGE微調(diào) ?231<
展開全部
大型語言模型實(shí)戰(zhàn)指南:應(yīng)用實(shí)踐與場景落地 作者簡介
劉聰中國藥科大學(xué)碩士,從事NLP工作5年,任職云問NLP研究院首席算法架構(gòu)師,MLNLP(機(jī)器學(xué)習(xí)算法與自然語言處理)社區(qū)的學(xué)術(shù)委員,長期關(guān)注人工智能前沿內(nèi)容,知乎粉絲量8k+,知乎文章閱讀量257萬,擁有個(gè)人公眾號(hào),原創(chuàng)文章60余篇。主攻文本向量表征、問答系統(tǒng)、文本生成(AIGC)方向,并致力于開源工作,開源了中文首個(gè)Unilm預(yù)訓(xùn)練模型,中文GPT2項(xiàng)目,夸夸閑聊機(jī)器人(ChatBot)等相關(guān)項(xiàng)目。作為主要負(fù)責(zé)人,在多項(xiàng)自然語言處理比賽中獲得前三甲的名次,發(fā)表多篇中文核心期刊,專利一篇,sci論文4篇。