中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
AIGC原理與實踐:零基礎學大語言模型、擴散模型和多模態模型 版權信息
- ISBN：9787111753315
- 條形碼：9787111753315 ; 978-7-111-75331-5
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
AIGC原理與實踐:零基礎學大語言模型、擴散模型和多模態模型 本書特色
（1）作者背景資深：作者是人工智能領域的資深專家，在大數據和人工智能領域深耕20余年，對AIGC有深入研究。 （2）知識體系全面：本書包含AIGC所涉及的各方面技術，從基礎知識到各種流行的大模型，從技術原理到應用實踐。 （3）讀者無需AI基礎：本書專為沒有AI基礎的技術工程師量身定做，通過由淺入深的講解方式，使讀者能夠輕松入門并逐步掌握AIGC。 （4）實踐案例豐富：書中提供大量實踐案例和代碼示例，讀者可通過PyTorch等工具構建和訓練各種大模型。 （5）配套資源豐富：為方便讀者學習，本書配有視頻講解、教學PPT、代碼和數據，這些資源均可免費獲取，讓讀者學習事半功倍。
AIGC原理與實踐:零基礎學大語言模型、擴散模型和多模態模型 內容簡介
本書旨在幫助沒有任何人工智能技術基礎的工程師們全面掌握AIGC的底層技術原理，以及大語言模型、擴散模型和多模態模型的原理與實踐。本書的核心價值是，首先為想學習各種大模型的讀者打下堅實的技術基礎，然后再根據自己的研究方向展開深入的學習，達到事半功倍的效果。
AIGC原理與實踐:零基礎學大語言模型、擴散模型和多模態模型 目錄
CONTENTS
目 錄
前言
第1章 AIGC概述 1
1.1 AIGC的主要技術 1
1.1.1 語言生成方面的技術 2
1.1.2 視覺生成方面的技術 3
1.1.3 多模態方面的技術 3
1.2 生成模型與判別模型 4
1.2.1 生成模型 4
1.2.2 判別模型 5
1.3 生成模型的原理 5
1.3.1 生成模型的框架 6
1.3.2 生成模型的概率表示 6
1.3.3 生成模型的目標函數 7
1.3.4 生成模型的挑戰及解決方法 8
1.4 表示學習 9
1.4.1 表示學習的直觀理解 10
1.4.2 表示學習的常用方式 12
1.4.3 表示學習與特征工程的區別 13
1.4.4 圖像的表示學習 13
1.4.5 文本的表示學習 14
1.4.6 多模態的表示學習 15
1.4.7 表示學習的融合技術 16
1.4.8 如何衡量表示學習的優劣 17
1.5 表示學習的逆過程 18
第2章 深度神經網絡 21
2.1 用PyTorch構建深度神經網絡 21
2.1.1 神經網絡的核心組件 21
2.1.2 構建神經網絡的主要工具 22
2.1.3 構建模型 24
2.1.4 訓練模型 24
2.2 用PyTorch實現神經網絡實例 25
2.2.1 準備數據 26
2.2.2 可視化源數據 27
2.2.3 構建模型 28
2.2.4 訓練模型 29
2.3 用PyTorch Lightning實現神經網絡實例 31
2.4 構建卷積神經網絡 35
2.4.1 全連接層 36
2.4.2 卷積層 36
2.4.3 卷積核 39
2.4.4 步幅 42
2.4.5 填充 43
2.4.6 多通道上的卷積 43
2.4.7 激活函數 48
2.4.8 卷積函數 48
2.4.9 轉置卷積 50
2.4.10 特征圖與感受野 53
2.4.11 卷積層如何保留圖像的空間信息 53
2.4.12 現代經典網絡 54
2.4.13 可變形卷積 59
2.5 構建循環神經網絡 60
2.5.1 從神經網絡到有隱含狀態的循環神經網絡 60
2.5.2 使用循環神經網絡構建語言模型 62
2.5.3 多層循環神經網絡 63
2.5.4 現代經典循環神經網絡 63
2.6 遷移學習 64
2.6.1 遷移學習簡介 65
2.6.2 微調預訓練模型 65
2.7 深度學習常用的歸一化方法 68
2.7.1 歸一化方法簡介 68
2.7.2 歸一化的原理 70
2.7.3 歸一化的代碼實現 72
2.8 權重初始化 77
2.8.1 為何要進行權重初始化 77
2.8.2 權重初始化方法 78
2.9 PyTorch常用的損失函數 79
2.10 深度學習常用的優化算法 80
2.10.1 傳統梯度更新算法 80
2.10.2 批量隨機梯度下降法 82
2.10.3 動量算法 83
2.10.4 Nesterov動量算法 85
2.10.5 AdaGrad算法 87
2.10.6 RMSProp算法 89
2.10.7 Adam算法 90
2.10.8 各種優化算法比較 92
第3章 變分自編碼器 94
3.1 自編碼器簡介 94
3.1.1 構建自編碼器 95
3.1.2 構建編碼器 96
3.1.3 構建解碼器 97
3.1.4 定義損失函數及優化器 98
3.1.5 分析自編碼器 98
3.2 變分自編碼器簡介 100
3.2.1 變分自編碼器的直觀理解 100
3.2.2 變分自編碼器的原理 102
3.3 構建變分自編碼器 105
3.3.1 構建編碼器 106
3.3.2 構建解碼器 107
3.3.3 損失函數 108
3.3.4 分析變分自編碼器 109
3.4 使用變分自編碼器生成面部圖像 110
3.4.1 編碼器 111
3.4.2 解碼器 111
3.4.3 進一步分析變分自編碼器 112
3.4.4 生成新頭像 113
第4章 生成對抗網絡 114
4.1 GAN模型簡介 114
4.1.1 GAN的直觀理解 114
4.1.2 GAN的原理 115
4.1.3 GAN的訓練過程 116
4.2 用GAN從零開始生成圖像 117
4.2.1 判別器 117
4.2.2 生成器 117
4.2.3 損失函數 118
4.2.4 訓練模型 118
4.2.5 可視化結果 120
4.3 GAN面臨的問題 121
4.3.1 損失振蕩 121
4.3.2 模型坍塌的簡單實例 122
4.3.3 GAN模型坍塌的原因 123
4.3.4 避免GAN模型坍塌的方法 124
4.4 WGAN 125
4.4.1 改進方向和效果 125
4.4.2 Wasserstein距離的優越性 127
4.4.3 WGAN的損失函數代碼 127
4.4.4 WGAN的其他核心代碼 128
4.5 WGAN-GP 129
4.5.1 權重裁剪的隱患 129
4.5.2 梯度懲罰損失 130
4.5.3 WGAN-GP的訓練過程 131
4.5.4 WGAN-GP的損失函數代碼 132
第5章 StyleGAN模型 134
5.1 ProGAN簡介 135
5.2 StyleGAN架構 137
5.3 StyleGAN的其他算法 140
5.4 用PyTorch從零開始實現StyleGAN 141
5.4.1 構建生成網絡 141
5.4.2 構建判別器網絡 147
5.4.3 損失函數 150
5.5 StyleGAN的*新進展 151
5.5.1 StyleGAN2簡介 151
5.5.2 StyleGAN3簡介 152
5.5.3 StyleGAN與DeepDream模型的異同 153
5.6 DragGAN簡介 153
第6章 風格遷移 154
6.1 DeepDream模型 154
6.1.1 DeepDream的原理 154
6.1.2 DeepDream算法的流程 155
6.1.3 使用PyTorch實現DeepDream 156
6.2 普通風格遷移 159
6.2.1 內容損失 160
6.2.2 風格損失 161
6.2.3 使用PyTorch實現神經網絡風格遷移 163
6.3 使用PyTorch實現圖像修復 167
6.3.1 網絡結構 167
6.3.2 損失函數 168
6.3.3 圖像修復實例 169
6.4 風格遷移與StyleGAN模型 171
第7章 注意力機制 173
7.1 注意力機制簡介 173
7.1.1 兩種常見的注意力機制 174
7.1.2 來自生活的注意力 174
7.1.3 注意力機制的本質 175
7.2 帶注意力機制的編碼器-解碼器架構 177
7.2.1 引入注意力機制 178
7.2.2 計算注意力分配概率分布值 180
7.3 自注意力 182
7.3.1 單層自注意力 182
7.3.2 多層自注意力 185
7.3.3 多頭自注意力 186
7.3.4 自注意力與卷積網絡、循環網絡的比較 189
7.4 如何訓練含自注意力的模型 190
7.4.1 將標記向量化 191
7.4.2 添加位置編碼 191
7.4.3 逆嵌入過程 192
7.5 交叉注意力 192
7.5.1 Transformer解碼器中的交叉注意力 193
7.5.2 Stable Diffusion解碼器中的交叉注意力 193
7.5.3 交叉注意力與自注意力的異同 194
第8章 Transformer模型 196
8.1 Transformer模型的直觀理解 196
8.1.1 頂層設計 197
8.1.2 嵌入和向量化 199
8.1.3 位置編碼 200
8.1.4 自注意力 201
8.1.5 掩碼 205
8.1.6 多頭注意力 205
8.1.7 殘差連接 207
8.1.8 層歸一化 209
8.1.9 解碼器的輸出 210
8.1.10 多層疊加 211
8.2 用PyTorch從零開始實現Transformer 212
8.2.1 構建編碼器-解碼器架構 212
8.2.2 構建編碼器 213
8.2.3 構建解碼器 215
8.2.4 構建多頭注意力 217
8.2.5 構建前饋神經網絡層 220
8.2.6 預處理輸入數據 220
8.2.7 構建完整網絡 223
8.2.8 訓練模型 224
8.2.9 一個簡單實例 228
第9章 大語言模型 231
9.1 大語言模型簡介 231
9.2 可視化GPT原理 233
9.2.1 GPT簡介 233
9.2.2 GPT的整體架構 233
9.2.3 GPT模型架構 234
9.2.4 GPT-2與BERT的多頭注意力的區別 235
9.2.5 GPT-2的輸入 235
9.2.6 GPT-2 計算遮掩自注意力的詳細過程 236
9.2.7 GPT-2的輸出 238
9.2.8 GPT-1與GPT-2的異同 238
9.3 GPT-3簡介 239
9.4 可視化BERT原理 241
9.4.1 BERT的整體架構 241
9.4.2 BERT的輸入 243
9.4.3 遮掩語言模型 244
9.4.4 預測下一個句子 245
9.4.5 微調 245
9.4.6 使用特征提取方法 247
9.5 用PyTorch實現BERT 248
9.5.1 BERTEmbedding類的代碼 248
9.5.2 TransformerBlock類的代碼 249
9.5.3 構建BERT的代碼 250
9.6 用GPT-2生成文本 251
9.6.1 下載GPT-2預訓練模型 251
9.6.2 用貪心搜索進行解碼 253
9.6.3 用束搜索進行解碼 254
9.6.4 用采樣進行解碼 256
9.6.5 用Top-K采樣進行解碼 258
9.6.6 用Top-p采樣進行解碼 260
9.6.7 用綜合方法進行解碼 261
第10章 ChatGPT模型 263
10.1 ChatGPT簡介 263
10.1.1 ChatGPT核心技術 264
10.1.2 InstructGPT和ChatGPT的訓練過程 265
10.1.3 指令微調 267
10.1.4 ChatGPT的不足 268
10.2 人類反饋強化學習 268
10.2.1 工作原理 268
10.2.2 工作流程 269
10.2.3 PPO算法 270
10.2.4 評估框架 273
10.2.5 創新與不足 273
10.3 Codex 274
10.3.1 對源代碼進行預處理 274
10.3.2 處理代碼塊 277
10.3.3 將源代碼數字化 277
10.3.4 衡量指標 278
10.3.5 Codex的邏輯推理能力是如何形成的 280
10.3.6 CodeGeeX的主要功能 281
10.3.7 CodeGeeX模型架構 282
10.4 如何將LaTeX數學公式語言轉化為自然語言 283
10.5 使用PPO算法優化車桿游戲 283
10.5.1 構建策略網絡 284
10.5.2 構建價值網絡 285
10.5.3 構建PPO模型 285
10.5.4 定義超參數 287
10.5.5 實例化模型 287
10.5.6 訓練模型 288
10.5.7 可視化迭代 289
10.6 使用RLHF算法提升GPT-2性能 289
10.6.1 基于中文情緒識別模型的正向評論生成機器人 290
10.6.2 對評論進行人工打分 294
10.6.3 標注排序序列替代直接打分 294
10.7 ChatGPT如何提升思維鏈推斷能力 300
10.8 ChatGPT如何提升模型的數學邏輯推理能力 301
第11章 擴散模型 303
11.1 擴散模型簡介 303
11.1.1 DDPM 304
11.1.2 擴散概率模型 304
11.1.3 正向擴散過程 305
11.1.4 反向擴散過程 306
11.1.5 正向擴散過程的數學細節 306
11.1.6 反向擴散過程的數學細節 308
11.1.7 訓練目標和損失函數 309
11.2 使用PyTorch從零開始編寫 DDPM 312
11.2.1 定義超參數 312
11.2.2 創建數據集 312
11.2.3 創建數據加載器 314
11.2.4 可視化數據集 314
11.2.5 DDPM架構 315
11.2.6 用殘差塊取代雙卷積模塊的優勢 316
11.2.7 創建擴散類 317
11.2.8 正向擴散過程 318
11.2.9 可視化正向擴散過程 318
11.2.10 基于訓練算法和采樣算法的訓練 319
11.2.11 從零開始訓練DDPM 321
11.2.12 使用DDPM生成圖像 323
第12章 多模態模型 325
12.1 CLIP簡介 325
12.1.1 CLIP如何將圖像與圖像描述進行對齊 326
12.1.2 CLIP如何實現零樣本 分類 328
12.1.3 CLIP原理 328
12.1.4 從零開始運行CLIP 330
12.1.5 CLIP應用 335
12.2 Stable Diffusion模型 335
12.2.1 Stable Diffusion模型的直觀理解 335
12.2.2 Stable Diffusion模型的原理 336
12.3 從零開始實現Stable Diffusion 337
12.3.1 文生圖 337
12.3.2 根據提示詞修改圖 341
12.4 Stable Diffusion 升級版簡介 343
12.4.1 Stable Diffusion 2.0 344
12.4.2 Stable Diffusion XL 345
12.5 DALL·E模型 346
12.5.1 DALL·E簡介 346
12.5.2 DALL·E 2簡介 346
12.5.3 DALL·E 2與GAN的異同 348
12.5.4 DALL·E 3簡介 348
第13章 AIGC的數學基礎 350
13.1 矩陣的基本運算 350
13.1.1 矩陣加法 351
13.1.2 矩陣點積 351
13.1.3 轉置 351
13.1.4 矩陣的阿達馬積 352
13.1.5 行列式 352
13.2 隨機變量及其分布 353
13.2.1 從隨機事件到隨機變量 354
13.2.2 離散型隨機變量及其分布 355
13.2.3 連續型隨機變量及其分布 357
13.2.4 隨機變量的分布函數 359
13.2.5 多維隨機變量及其分布 361
13.2.6 隨機變量的數字特征 369
13.2.7 隨機變量函數的分布 371
13.3 信息論 377
13.3.1 信息量 377
13.3.2 信息熵 377
13.3.3 條件熵 378
13.3.4 互信息 378
13.3.5 KL散度 379
13.3.6 交叉熵 379
13.3.7 JS散度 383
13.3.8 Wasserstein距離 383
13.3.9 困惑度 384
13.4 推斷 384
13.4.1 極大似然估計 385
13.4.2 極大后驗概率估計 390
13.4.3 EM算法 393
13.4.4 變分推斷 404
13.4.5 馬爾可夫鏈蒙特卡羅隨機采樣 405
13.5 強化學習 418
13.5.1 強化學習基本概念 418
13.5.2 強化學習基礎算法 425
13.5.3 策略梯度 427
目 錄
前言
第1章 AIGC概述 1
1.1 AIGC的主要技術 1
1.1.1 語言生成方面的技術 2
1.1.2 視覺生成方面的技術 3
1.1.3 多模態方面的技術 3
1.2 生成模型與判別模型 4
1.2.1 生成模型 4
1.2.2 判別模型 5
1.3 生成模型的原理 5
1.3.1 生成模型的框架 6
1.3.2 生成模型的概率表示 6
1.3.3 生成模型的目標函數 7
1.3.4 生成模型的挑戰及解決方法 8
1.4 表示學習 9
1.4.1 表示學習的直觀理解 10
1.4.2 表示學習的常用方式 12
1.4.3 表示學習與特征工程的區別 13
1.4.4 圖像的表示學習 13
1.4.5 文本的表示學習 14
1.4.6 多模態的表示學習 15
1.4.7 表示學習的融合技術 16
1.4.8 如何衡量表示學習的優劣 17
1.5 表示學習的逆過程 18
第2章 深度神經網絡 21
2.1 用PyTorch構建深度神經網絡 21
2.1.1 神經網絡的核心組件 21
2.1.2 構建神經網絡的主要工具 22
2.1.3 構建模型 24
2.1.4 訓練模型 24
2.2 用PyTorch實現神經網絡實例 25
2.2.1 準備數據 26
2.2.2 可視化源數據 27
2.2.3 構建模型 28
2.2.4 訓練模型 29
2.3 用PyTorch Lightning實現神經網絡實例 31
2.4 構建卷積神經網絡 35
2.4.1 全連接層 36
2.4.2 卷積層 36
2.4.3 卷積核 39
2.4.4 步幅 42
2.4.5 填充 43
2.4.6 多通道上的卷積 43
2.4.7 激活函數 48
2.4.8 卷積函數 48
2.4.9 轉置卷積 50
2.4.10 特征圖與感受野 53
2.4.11 卷積層如何保留圖像的空間信息 53
2.4.12 現代經典網絡 54
2.4.13 可變形卷積 59
2.5 構建循環神經網絡 60
2.5.1 從神經網絡到有隱含狀態的循環神經網絡 60
2.5.2 使用循環神經網絡構建語言模型 62
2.5.3 多層循環神經網絡 63
2.5.4 現代經典循環神經網絡 63
2.6 遷移學習 64
2.6.1 遷移學習簡介 65
2.6.2 微調預訓練模型 65
2.7 深度學習常用的歸一化方法 68
2.7.1 歸一化方法簡介 68
2.7.2 歸一化的原理 70
2.7.3 歸一化的代碼實現 72
2.8 權重初始化 77
2.8.1 為何要進行權重初始化 77
2.8.2 權重初始化方法 78
2.9 PyTorch常用的損失函數 79
2.10 深度學習常用的優化算法 80
2.10.1 傳統梯度更新算法 80
2.10.2 批量隨機梯度下降法 82
2.10.3 動量算法 83
2.10.4 Nesterov動量算法 85
2.10.5 AdaGrad算法 87
2.10.6 RMSProp算法 89
2.10.7 Adam算法 90
2.10.8 各種優化算法比較 92
第3章 變分自編碼器 94
3.1 自編碼器簡介 94
3.1.1 構建自編碼器 95
3.1.2 構建編碼器 96
3.1.3 構建解碼器 97
3.1.4 定義損失函數及優化器 98
3.1.5 分析自編碼器 98
3.2 變分自編碼器簡介 100
3.2.1 變分自編碼器的直觀理解 100
3.2.2 變分自編碼器的原理 102
3.3 構建變分自編碼器 105
3.3.1 構建編碼器 106
3.3.2 構建解碼器 107
3.3.3 損失函數 108
3.3.4 分析變分自編碼器 109
3.4 使用變分自編碼器生成面部圖像 110
3.4.1 編碼器 111
3.4.2 解碼器 111
3.4.3 進一步分析變分自編碼器 112
3.4.4 生成新頭像 113
第4章 生成對抗網絡 114
4.1 GAN模型簡介 114
4.1.1 GAN的直觀理解 114
4.1.2 GAN的原理 115
4.1.3 GAN的訓練過程 116
4.2 用GAN從零開始生成圖像 117
4.2.1 判別器 117
4.2.2 生成器 117
4.2.3 損失函數 118
4.2.4 訓練模型 118
4.2.5 可視化結果 120
4.3 GAN面臨的問題 121
4.3.1 損失振蕩 121
4.3.2 模型坍塌的簡單實例 122
4.3.3 GAN模型坍塌的原因 123
4.3.4 避免GAN模型坍塌的方法 124
4.4 WGAN 125
4.4.1 改進方向和效果 125
4.4.2 Wasserstein距離的優越性 127
4.4.3 WGAN的損失函數代碼 127
4.4.4 WGAN的其他核心代碼 128
4.5 WGAN-GP 129
4.5.1 權重裁剪的隱患 129
4.5.2 梯度懲罰損失 130
4.5.3 WGAN-GP的訓練過程 131
4.5.4 WGAN-GP的損失函數代碼 132
第5章 StyleGAN模型 134
5.1 ProGAN簡介 135
5.2 StyleGAN架構 137
5.3 StyleGAN的其他算法 140
5.4 用PyTorch從零開始實現StyleGAN 141
5.4.1 構建生成網絡 141
5.4.2 構建判別器網絡 147
5.4.3 損失函數 150
5.5 StyleGAN的*新進展 151
5.5.1 StyleGAN2簡介 151
5.5.2 StyleGAN3簡介 152
5.5.3 StyleGAN與DeepDream模型的異同 153
5.6 DragGAN簡介 153
第6章 風格遷移 154
6.1 DeepDream模型 154
6.1.1 DeepDream的原理 154
6.1.2 DeepDream算法的流程 155
6.1.3 使用PyTorch實現DeepDream 156
6.2 普通風格遷移 159
6.2.1 內容損失 160
6.2.2 風格損失 161
6.2.3 使用PyTorch實現神經網絡風格遷移 163
6.3 使用PyTorch實現圖像修復 167
6.3.1 網絡結構 167
6.3.2 損失函數 168
6.3.3 圖像修復實例 169
6.4 風格遷移與StyleGAN模型 171
第7章 注意力機制 173
7.1 注意力機制簡介 173
7.1.1 兩種常見的注意力機制 174
7.1.2 來自生活的注意力 174
7.1.3 注意力機制的本質 175
7.2 帶注意力機制的編碼器-解碼器架構 177
7.2.1 引入注意力機制 178
7.2.2 計算注意力分配概率分布值 180
7.3 自注意力 182
7.3.1 單層自注意力 182
7.3.2 多層自注意力 185
7.3.3 多頭自注意力 186
7.3.4 自注意力與卷積網絡、循環網絡的比較 189
7.4 如何訓練含自注意力的模型 190
7.4.1 將標記向量化 191
7.4.2 添加位置編碼 191
7.4.3 逆嵌入過程 192
7.5 交叉注意力 192
7.5.1 Transformer解碼器中的交叉注意力 193
7.5.2 Stable Diffusion解碼器中的交叉注意力 193
7.5.3 交叉注意力與自注意力的異同 194
第8章 Transformer模型 196
8.1 Transformer模型的直觀理解 196
8.1.1 頂層設計 197
8.1.2 嵌入和向量化 199
8.1.3 位置編碼 200
8.1.4 自注意力 201
8.1.5 掩碼 205
8.1.6 多頭注意力 205
8.1.7 殘差連接 207
8.1.8 層歸一化 209
8.1.9 解碼器的輸出 210
8.1.10 多層疊加 211
8.2 用PyTorch從零開始實現Transformer 212
8.2.1 構建編碼器-解碼器架構 212
8.2.2 構建編碼器 213
8.2.3 構建解碼器 215
8.2.4 構建多頭注意力 217
8.2.5 構建前饋神經網絡層 220
8.2.6 預處理輸入數據 220
8.2.7 構建完整網絡 223
8.2.8 訓練模型 224
8.2.9 一個簡單實例 228
第9章 大語言模型 231
9.1 大語言模型簡介 231
9.2 可視化GPT原理 233
9.2.1 GPT簡介 233
9.2.2 GPT的整體架構 233
9.2.3 GPT模型架構 234
9.2.4 GPT-2與BERT的多頭注意力的區別 235
9.2.5 GPT-2的輸入 235
9.2.6 GPT-2 計算遮掩自注意力的詳細過程 236
9.2.7 GPT-2的輸出 238
9.2.8 GPT-1與GPT-2的異同 238
9.3 GPT-3簡介 239
9.4 可視化BERT原理 241
9.4.1 BERT的整體架構 241
9.4.2 BERT的輸入 243
9.4.3 遮掩語言模型 244
9.4.4 預測下一個句子 245
9.4.5 微調 245
9.4.6 使用特征提取方法 247
9.5 用PyTorch實現BERT 248
9.5.1 BERTEmbedding類的代碼 248
9.5.2 TransformerBlock類的代碼 249
9.5.3 構建BERT的代碼 250
9.6 用GPT-2生成文本 251
9.6.1 下載GPT-2預訓練模型 251
9.6.2 用貪心搜索進行解碼 253
9.6.3 用束搜索進行解碼 254
9.6.4 用采樣進行解碼 256
9.6.5 用Top-K采樣進行解碼 258
9.6.6 用Top-p采樣進行解碼 260
9.6.7 用綜合方法進行解碼 261
第10章 ChatGPT模型 263
10.1 ChatGPT簡介 263
10.1.1 ChatGPT核心技術 264
10.1.2 InstructGPT和ChatGPT的訓練過程 265
10.1.3 指令微調 267
10.1.4 ChatGPT的不足 268
10.2 人類反饋強化學習 268
10.2.1 工作原理 268
10.2.2 工作流程 269
10.2.3 PPO算法 270
10.2.4 評估框架 273
10.2.5 創新與不足 273
10.3 Codex 274
10.3.1 對源代碼進行預處理 274
10.3.2 處理代碼塊 277
10.3.3 將源代碼數字化 277
10.3.4 衡量指標 278
10.3.5 Codex的邏輯推理能力是如何形成的 280
10.3.6 CodeGeeX的主要功能 281
10.3.7 CodeGeeX模型架構 282
10.4 如何將LaTeX數學公式語言轉化為自然語言 283
10.5 使用PPO算法優化車桿游戲 283
10.5.1 構建策略網絡 284
10.5.2 構建價值網絡 285
10.5.3 構建PPO模型 285
10.5.4 定義超參數 287
10.5.5 實例化模型 287
10.5.6 訓練模型 288
10.5.7 可視化迭代 289
10.6 使用RLHF算法提升GPT-2性能 289
10.6.1 基于中文情緒識別模型的正向評論生成機器人 290
10.6.2 對評論進行人工打分 294
10.6.3 標注排序序列替代直接打分 294
10.7 ChatGPT如何提升思維鏈推斷能力 300
10.8 ChatGPT如何提升模型的數學邏輯推理能力 301
第11章 擴散模型 303
11.1 擴散模型簡介 303
11.1.1 DDPM 304
11.1.2 擴散概率模型 304
11.1.3 正向擴散過程 305
11.1.4 反向擴散過程 306
11.1.5 正向擴散過程的數學細節 306
11.1.6 反向擴散過程的數學細節 308
11.1.7 訓練目標和損失函數 309
11.2 使用PyTorch從零開始編寫 DDPM 312
11.2.1 定義超參數 312
11.2.2 創建數據集 312
11.2.3 創建數據加載器 314
11.2.4 可視化數據集 314
11.2.5 DDPM架構 315
11.2.6 用殘差塊取代雙卷積模塊的優勢 316
11.2.7 創建擴散類 317
11.2.8 正向擴散過程 318
11.2.9 可視化正向擴散過程 318
11.2.10 基于訓練算法和采樣算法的訓練 319
11.2.11 從零開始訓練DDPM 321
11.2.12 使用DDPM生成圖像 323
第12章 多模態模型 325
12.1 CLIP簡介 325
12.1.1 CLIP如何將圖像與圖像描述進行對齊 326
12.1.2 CLIP如何實現零樣本 分類 328
12.1.3 CLIP原理 328
12.1.4 從零開始運行CLIP 330
12.1.5 CLIP應用 335
12.2 Stable Diffusion模型 335
12.2.1 Stable Diffusion模型的直觀理解 335
12.2.2 Stable Diffusion模型的原理 336
12.3 從零開始實現Stable Diffusion 337
12.3.1 文生圖 337
12.3.2 根據提示詞修改圖 341
12.4 Stable Diffusion 升級版簡介 343
12.4.1 Stable Diffusion 2.0 344
12.4.2 Stable Diffusion XL 345
12.5 DALL·E模型 346
12.5.1 DALL·E簡介 346
12.5.2 DALL·E 2簡介 346
12.5.3 DALL·E 2與GAN的異同 348
12.5.4 DALL·E 3簡介 348
第13章 AIGC的數學基礎 350
13.1 矩陣的基本運算 350
13.1.1 矩陣加法 351
13.1.2 矩陣點積 351
13.1.3 轉置 351
13.1.4 矩陣的阿達馬積 352
13.1.5 行列式 352
13.2 隨機變量及其分布 353
13.2.1 從隨機事件到隨機變量 354
13.2.2 離散型隨機變量及其分布 355
13.2.3 連續型隨機變量及其分布 357
13.2.4 隨機變量的分布函數 359
13.2.5 多維隨機變量及其分布 361
13.2.6 隨機變量的數字特征 369
13.2.7 隨機變量函數的分布 371
13.3 信息論 377
13.3.1 信息量 377
13.3.2 信息熵 377
13.3.3 條件熵 378
13.3.4 互信息 378
13.3.5 KL散度 379
13.3.6 交叉熵 379
13.3.7 JS散度 383
13.3.8 Wasserstein距離 383
13.3.9 困惑度 384
13.4 推斷 384
13.4.1 極大似然估計 385
13.4.2 極大后驗概率估計 390
13.4.3 EM算法 393
13.4.4 變分推斷 404
13.4.5 馬爾可夫鏈蒙特卡羅隨機采樣 405
13.5 強化學習 418
13.5.1 強化學習基本概念 418
13.5.2 強化學習基礎算法 425
13.5.3 策略梯度 427
展開全部
AIGC原理與實踐:零基礎學大語言模型、擴散模型和多模態模型 作者簡介
吳茂貴 資深人工智能技術專家和大數據技術專家，在BI、數據挖掘與分析、數據倉庫、機器學習、深度學習等領域有超過20年的實戰經驗。近年來，一直專注于人工智能領域的工程實踐，對大模型相關的技術和應用有深入的研究。 著有多部人工智能領域的暢銷書： 《Python深度學習：基于TensorFlow》 （第1版和第2版） 《Python深度學習：基于Pytorch》 （第1版和第2版） 《深入淺出Embedding》 《深度實踐Spark機器學習》
書友推薦
- >
推拿
- >
龍榆生：詞曲概論/大家小書
- >
小考拉的故事-套裝共3冊
- >
名家帶你讀魯迅:故事新編
- >
煙與鏡
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
莉莉和章魚
- >
我與地壇
本類暢銷
