掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大語言模型原理、訓練及應用 基于GPT 版權信息
- ISBN：9787111762355
- 條形碼：9787111762355 ; 978-7-111-76235-5
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
大語言模型原理、訓練及應用 基于GPT 本書特色
微軟中國區總裁 原欣紅帽全球副總裁兼大中華區總裁 曹衡康微軟中國區首席技術官 韋青NVIDIA電信行業總監 賈楠聯袂推薦 系統總結LLM/SLM和Copilot端到端的開發經驗，全面歸納GPU訓練推理實戰方法，面向AI架構師及開發者的實用技術指南
大語言模型原理、訓練及應用 基于GPT 內容簡介
本書是一本系統介紹大語言模型原理、訓練及應用的書，共7章，主要內容包括：認識大語言模型、大語言模型訓練、GPU池化——構建大語言模型算力基礎、GPT的優化與編排、GPT應用開發實踐、Copilot應用開發實踐、語言模型小型化及在邊緣端的部署。本書詳盡闡述了大語言模型的起源、定義及其與傳統深度學習方法間的關鍵差異，深入探討了主流訓練框架如何為大語言模型提供動力，并介紹了優化策略以及高效建立算力基礎設施所要考慮的因素。內容涵蓋從基礎概念介紹到復雜系統編排，再到具體行業應用與開發等多個層面。
本書適合從事大語言模型開發及應用的讀者參考，無論初學者還是經驗豐富的實踐者，都能從本書中學到實用的知識和技能。
大語言模型原理、訓練及應用 基于GPT 目錄
目錄
推薦序
前言
第1章認識大語言模型
1.1大語言模型概述
1.1.1AI技術的發展
1.1.2生成式AI、NLP、GPT的關系
1.1.3大語言模型的發展
1.2大語言模型的訓練
1.2.1預訓練
1.2.2微調
1.2.3人類反饋強化學習
1.3大語言模型的核心應用場景
1.3.1內容創作
1.3.2摘要生成
1.3.3語義檢索
1.3.4代碼生成
1.4大語言模型的多模態場景
1.4.1文生圖
1.4.2圖片與視頻理解
1.4.3語音轉文字
1.4.4大語言模型與數字人/虛擬人的集成
1.4.5視頻生成
1.5大語言模型的現狀和未來
1.6本章小結
第2章大語言模型訓練
2.1Transformer網絡架構
2.1.1傳統Transformer架構
2.1.2Casual-decoder架構
2.1.3Transformer Embedding和位置編碼
2.1.4Attention層和Attention機制
2.1.5FFN/MLP網絡
2.2模型參數量與計算量評估
2.2.1算力資源計算方法
2.2.2顯存資源計算方法
2.3分布式訓練介紹
2.3.1通信原語
2.3.2數據并行
2.3.3模型并行
2.3.4DeepSpeed Zero優化
2.4如何訓練大語言模型
2.4.1預訓練
2.4.2微調
2.4.3RLHF/RLAIF
2.5Casual-decoder 大語言模型訓練案例
2.5.1預訓練
2.5.2DPO
2.6本章小結
第3章GPU池化——構建大語言模型算力基礎
3.1GPU池化建設目標
3.2GPU與網卡的選擇
3.2.1GPU的選擇
3.2.2RDMA網絡
3.3基礎架構環境的驗證
3.3.1Perftest測試網卡
3.3.2NCCL測試性能
3.4分布式訓練與推理
3.4.1訓練環境選擇
3.4.2Azure GPU VM的創建
3.4.3訓練框架的選擇
3.4.4在Azure GPU VM中安裝驅動
3.4.5使用NeMo訓練文本分類模型
3.4.6使用DeepSpeed-Chat訓練OPT
3.4.7使用DeepSpeed-Training訓練Stable Diffusion
3.4.8深度學習推理環境搭建
3.5本章小結
第4章GPT的優化與編排
4.1GPT的優化
4.1.1提示工程
4.1.2GPT微調
4.1.3
展開全部
大語言模型原理、訓練及應用 基于GPT 作者簡介
魏新宇，微軟全球黑帶AI技術專家。曾任英偉達資深解決方案架構師、紅帽首席解決方案架構師( RHCA Level5)。暢銷書作者，著有《OpenShift 在企業中的實戰: PaaS DevOps微服務》《云原生應用構建:基于OpenShift》《 金融級IT架構與運維》等書。 白雪冰，微軟(中國)有限公司高級架構師。曾任IBM中國軟件開發中心(CSDL)架構師。目前主要從事基于語音識別、計算機視覺、自然語言處理、智能搜索以及OpenAI和其他大語言模型等技術,構建.企業級解決方案的工作。 周博洋，微軟(中國)有限公司高級架構師。曾任Juniper、Cisco系統架構師;主要研究生成式AI算法及訓練和推理方法的優化。負責Azure OpenAI業務的推廣，同時負責Azure Machine Learning和GPU業務在國內的解決方案整合工作，擁有扎實的全棧技術能力，對Al Infrastructure和AI算法優化有獨到的見解。
書友推薦
- >
唐代進士錄
- >
回憶愛瑪儂
- >
有舍有得是人生
- >
伊索寓言-世界文學名著典藏-全譯本
- >
苦雨齋序跋文-周作人自編集
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
月亮虎
- >
龍榆生：詞曲概論/大家小書
本類暢銷
