掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大語言模型:基礎與前沿 版權信息
- ISBN：9787115634887
- 條形碼：9787115634887 ; 978-7-115-63488-7
- 裝幀：平裝
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
大語言模型:基礎與前沿 本書特色
內容豐富。本書全面且深入介紹了大語言模型及其前沿進展，適合所有需要了解這個領域或掌握這種方法與工具的科學家、工程師和學生參考。
內容緊貼前沿領域。大語言模型作為當前爆火的chatGPT背后的技術，受到廣泛關注，預計未來將推動人工智能技術進一步發展。
深入淺出，理論與實踐相結合。本書摒棄了純理論的說教模式，從案例入手，采用庖丁解牛的方式幫助讀者理解與認識大語言模型。
作者權威，大廠海外技術骨干。本書作者熊濤曾擔任多家中美高科技公司的首席科學家，長期深耕人工智能領域，發表相關論文百余篇。
行業專家背書，包括清華大學教授陳文光、復旦大學浩清特聘教授漆遠、阿里巴巴集團阿里云副總裁葉杰平、螞蟻集團副總裁趙聞飆。
大語言模型:基礎與前沿 內容簡介
本書深入闡述了大語言模型的基本概念和算法、研究前沿以及應用，涵蓋大語言模型的廣泛主題，從基礎到前沿，從方法到應用，涉及從方法論到應用場景方方面面的內容。首先，本書介紹了人工智能領域的進展和趨勢；其次，探討了語言模型的基本概念和架構、Transformer、預訓練目標和解碼策略、上下文學習和輕量級微調、稀疏專家模型、檢索增強型語言模型、對齊語言模型與人類偏好、減少偏見和有害性以及視覺語言模型等內容；*后，討論了語言模型對環境的影響。 本書內容全面、系統性強，適合高年級本科生和研究生、博士后研究人員、講師以及行業從業者閱讀與參考。
大語言模型:基礎與前沿 目錄
第 1章 大語言模型：辯論、爭議與未來發展方向 1
1.1 新時代的曙光 1
1.2 LLM有意識嗎 3
1.2.1 理解LLM的層次結構 3
1.2.2 意識是否需要碳基生物學 4
1.2.3 具身化與落地 4
1.2.4 世界模型 7
1.2.5 溝通意圖 8
1.2.6 系統性和全面泛化 9
1.3 未來發展方向 10
1.4 小結 13
第 2章 語言模型和分詞 15
2.1 語言建模的挑戰 16
2.2 統計語言建模 16
2.3 神經語言模型 18
2.4 評估語言模型 19
2.5 分詞 19
2.5.1 按空格分割 20
2.5.2 字符分詞 21
2.5.3 子詞分詞 21
2.5.4 無分詞器 24
2.5.5 可學習的分詞 25
2.6 小結 27
第3章 Transformer 29
3.1 Transformer編碼器模塊 29
3.2 編碼器-解碼器架構 31
3.3 位置嵌入 32
3.3.1 絕對位置編碼 32
3.3.2 相對位置編碼 34
3.4 更長的上下文 38
3.5 外部記憶 42
3.6 更快、更小的Transformer 45
3.6.1 高效注意力 45
3.6.2 條件計算 47
3.6.3 搜索高效Transformer 48
3.6.4 在單個GPU上一天內訓練一個語言模型 49
3.7 推理優化 49
3.7.1 推測解碼 49
3.7.2 簡化Transformer 51
3.7.3 修剪 52
3.7.4 蒸餾 53
3.7.5 混合精度 54
3.7.6 高效擴展Transformer推理 54
3.8 小結 56
第4章 預訓練目標和解碼策略 57
4.1 模型架構 57
4.2 預訓練目標 60
4.3 具有代表性的語言模型 62
4.4 解碼策略 67
4.5 小結 72
第5章 上下文學習和輕量級微調 73
5.1 上下文學習 74
5.1.1 示范樣本選擇 75
5.1.2 樣本排序 82
5.1.3 指令生成 82
5.1.4 思維鏈 84
5.1.5 遞歸提示 87
5.1.6 為什么ICL有效 90
5.1.7 評估 93
5.2 提示語言模型的校準 94
5.3 輕量級微調 97
5.3.1 基于添加的方法 98
5.3.2 基于規范的方法 100
5.3.3 基于重新參數化的方法 101
5.3.4 混合方法 103
5.4 小結 104
第6章 訓練更大的模型 107
6.1 擴大尺度法則 107
6.1.1 預訓練Transformer擴大尺度的啟示 107
6.1.2 預訓練和微調Transformer帶來的新啟示 110
6.1.3 k比特推理擴大尺度法則 111
6.1.4 挑戰與機遇 112
6.2 涌現能力 113
6.3 人工智能加速器 115
6.4 并行 117
6.4.1 數據并行 119
6.4.2 流水線并行 126
6.4.3 張量/模型并行 131
6.4.4 專家混合 133
6.5 混合訓練和低精度訓練 133
6.5.1 單位縮放 133
6.5.2 FP8與INT8 135
6.6 其他節省內存的設計 136
6.7 小結 137
第7章 稀疏專家模型 139
7.1 為什么采用稀疏專家模型 139
7.2 路由算法 142
7.2.1 每個詞元選擇top-k個專家 142
7.2.2 每個專家選擇top-k個詞元 144
7.2.3 全局*優分配 145
7.2.4 隨機路由 148
7.2.5 雙層路由 149
7.2.6 針對不同預訓練領域的不同專家 149
7.3 其他改進措施 152
7.3.1 加快訓練速度 152
7.3.2 高效的MoE架構 153
7.3.3 生產規模部署 154
7.3.4 通過稀疏MoE擴展視覺語言模型 154
7.3.5 MoE與集成 155
7.4 小結 156
第8章 檢索增強型語言模型 157
8.1 預訓練檢索增強型語言模型 158
8.2 詞元級檢索 161
8.3 通過高效和精簡檢索進行問答和多跳推理 163
8.4 檢索增強型Transformer 166
8.5 檢索增強型黑盒語言模型 168
8.6 視覺增強語言建模 169
8.7 小結 170
第9章 對齊語言模型與人類偏好 171
9.1 基于人類反饋進行微調 172
9.1.1 基于人類反饋的強化學習 172
9.1.2 KL散度：前向與反向 174
9.1.3 REINFORCE、TRPO和PPO 174
9.1.4 帶有KL懲罰的強化學習：貝葉斯推理觀點 178
9.1.5 通過分布控制生成進行語言模型對齊 180
9.1.6 通過f散度*小化統一RLHF和GDC方法 182
9.2 基于語言反饋進行微調 183
9.3 基于監督學習進行微調 184
9.4 基于人工智能反饋的強化學習 185
9.5 基于自我反饋進行迭代優化 188
9.6 基于人類偏好進行預訓練 190
9.7 小結 193
第 10章 減少偏見和有害性 195
10.1 偏見 196
10.2 有害性 199
10.3 偏見和有害性的檢測與減少 200
10.3.1 基于解碼的策略 201
10.3.2 基于提示的脫毒 202
10.3.3 基于數據的策略 204
10.3.4 基于投影和正則化的方法 205
10.3.5 基于風格轉換的方法 205
10.3.6 基于強化學習的微調和基于人類偏好的預訓練 206
10.4 小結 206
第 11章 視覺語言模型 207
11.1 語言處理的多模態落地 207
11.2 不需要額外訓練即可利用預訓練模型 208
11.2.1 視覺引導解碼策略 208
11.2.2 作為大語言模型提示的視覺輸入 209
11.2.3 基于相似性搜索的多模態對齊 212
11.3 輕量級適配 213
11.3.1 鎖定圖像調優 213
11.3.2 作為（凍結）語言模型前綴的學習視覺嵌入 214
11.3.3 視覺-文本交叉注意力融合 216
11.4 圖文聯合訓練 219
11.5 檢索增強視覺語言模型 222
11.6 視覺指令調整 225
11.7 小結 227
第 12章 環境影響 229
12.1 能源消耗和溫室氣體排放 229
12.2 估算訓練模型的排放量 230
12.3 小結 231
參考文獻 232
1.1 新時代的曙光 1
1.2 LLM有意識嗎 3
1.2.1 理解LLM的層次結構 3
1.2.2 意識是否需要碳基生物學 4
1.2.3 具身化與落地 4
1.2.4 世界模型 7
1.2.5 溝通意圖 8
1.2.6 系統性和全面泛化 9
1.3 未來發展方向 10
1.4 小結 13
第 2章 語言模型和分詞 15
2.1 語言建模的挑戰 16
2.2 統計語言建模 16
2.3 神經語言模型 18
2.4 評估語言模型 19
2.5 分詞 19
2.5.1 按空格分割 20
2.5.2 字符分詞 21
2.5.3 子詞分詞 21
2.5.4 無分詞器 24
2.5.5 可學習的分詞 25
2.6 小結 27
第3章 Transformer 29
3.1 Transformer編碼器模塊 29
3.2 編碼器-解碼器架構 31
3.3 位置嵌入 32
3.3.1 絕對位置編碼 32
3.3.2 相對位置編碼 34
3.4 更長的上下文 38
3.5 外部記憶 42
3.6 更快、更小的Transformer 45
3.6.1 高效注意力 45
3.6.2 條件計算 47
3.6.3 搜索高效Transformer 48
3.6.4 在單個GPU上一天內訓練一個語言模型 49
3.7 推理優化 49
3.7.1 推測解碼 49
3.7.2 簡化Transformer 51
3.7.3 修剪 52
3.7.4 蒸餾 53
3.7.5 混合精度 54
3.7.6 高效擴展Transformer推理 54
3.8 小結 56
第4章 預訓練目標和解碼策略 57
4.1 模型架構 57
4.2 預訓練目標 60
4.3 具有代表性的語言模型 62
4.4 解碼策略 67
4.5 小結 72
第5章 上下文學習和輕量級微調 73
5.1 上下文學習 74
5.1.1 示范樣本選擇 75
5.1.2 樣本排序 82
5.1.3 指令生成 82
5.1.4 思維鏈 84
5.1.5 遞歸提示 87
5.1.6 為什么ICL有效 90
5.1.7 評估 93
5.2 提示語言模型的校準 94
5.3 輕量級微調 97
5.3.1 基于添加的方法 98
5.3.2 基于規范的方法 100
5.3.3 基于重新參數化的方法 101
5.3.4 混合方法 103
5.4 小結 104
第6章 訓練更大的模型 107
6.1 擴大尺度法則 107
6.1.1 預訓練Transformer擴大尺度的啟示 107
6.1.2 預訓練和微調Transformer帶來的新啟示 110
6.1.3 k比特推理擴大尺度法則 111
6.1.4 挑戰與機遇 112
6.2 涌現能力 113
6.3 人工智能加速器 115
6.4 并行 117
6.4.1 數據并行 119
6.4.2 流水線并行 126
6.4.3 張量/模型并行 131
6.4.4 專家混合 133
6.5 混合訓練和低精度訓練 133
6.5.1 單位縮放 133
6.5.2 FP8與INT8 135
6.6 其他節省內存的設計 136
6.7 小結 137
第7章 稀疏專家模型 139
7.1 為什么采用稀疏專家模型 139
7.2 路由算法 142
7.2.1 每個詞元選擇top-k個專家 142
7.2.2 每個專家選擇top-k個詞元 144
7.2.3 全局*優分配 145
7.2.4 隨機路由 148
7.2.5 雙層路由 149
7.2.6 針對不同預訓練領域的不同專家 149
7.3 其他改進措施 152
7.3.1 加快訓練速度 152
7.3.2 高效的MoE架構 153
7.3.3 生產規模部署 154
7.3.4 通過稀疏MoE擴展視覺語言模型 154
7.3.5 MoE與集成 155
7.4 小結 156
第8章 檢索增強型語言模型 157
8.1 預訓練檢索增強型語言模型 158
8.2 詞元級檢索 161
8.3 通過高效和精簡檢索進行問答和多跳推理 163
8.4 檢索增強型Transformer 166
8.5 檢索增強型黑盒語言模型 168
8.6 視覺增強語言建模 169
8.7 小結 170
第9章 對齊語言模型與人類偏好 171
9.1 基于人類反饋進行微調 172
9.1.1 基于人類反饋的強化學習 172
9.1.2 KL散度：前向與反向 174
9.1.3 REINFORCE、TRPO和PPO 174
9.1.4 帶有KL懲罰的強化學習：貝葉斯推理觀點 178
9.1.5 通過分布控制生成進行語言模型對齊 180
9.1.6 通過f散度*小化統一RLHF和GDC方法 182
9.2 基于語言反饋進行微調 183
9.3 基于監督學習進行微調 184
9.4 基于人工智能反饋的強化學習 185
9.5 基于自我反饋進行迭代優化 188
9.6 基于人類偏好進行預訓練 190
9.7 小結 193
第 10章 減少偏見和有害性 195
10.1 偏見 196
10.2 有害性 199
10.3 偏見和有害性的檢測與減少 200
10.3.1 基于解碼的策略 201
10.3.2 基于提示的脫毒 202
10.3.3 基于數據的策略 204
10.3.4 基于投影和正則化的方法 205
10.3.5 基于風格轉換的方法 205
10.3.6 基于強化學習的微調和基于人類偏好的預訓練 206
10.4 小結 206
第 11章 視覺語言模型 207
11.1 語言處理的多模態落地 207
11.2 不需要額外訓練即可利用預訓練模型 208
11.2.1 視覺引導解碼策略 208
11.2.2 作為大語言模型提示的視覺輸入 209
11.2.3 基于相似性搜索的多模態對齊 212
11.3 輕量級適配 213
11.3.1 鎖定圖像調優 213
11.3.2 作為（凍結）語言模型前綴的學習視覺嵌入 214
11.3.3 視覺-文本交叉注意力融合 216
11.4 圖文聯合訓練 219
11.5 檢索增強視覺語言模型 222
11.6 視覺指令調整 225
11.7 小結 227
第 12章 環境影響 229
12.1 能源消耗和溫室氣體排放 229
12.2 估算訓練模型的排放量 230
12.3 小結 231
參考文獻 232
展開全部
大語言模型:基礎與前沿 作者簡介
熊濤，美國明尼蘇達大學雙城分校電子與計算機工程博士。曾在多家中美知名高科技公司擔任高級管理職位和首席科學家，在人工智能的多個領域，包括大語言模型、圖神經網絡等從事研發和管理工作多年。
書友推薦
- >
伯納黛特,你要去哪(2021新版)
- >
名家帶你讀魯迅:朝花夕拾
- >
推拿
- >
【精裝繪本】畫給孩子的中國神話
- >
朝聞道
- >
煙與鏡
- >
我與地壇
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
本類暢銷
