中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
多模態深度學習技術基礎 版權信息
- ISBN：9787302637479
- 條形碼：9787302637479 ; 978-7-302-63747-9
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
多模態深度學習技術基礎 本書特色
● 全書分為初識多模態信息處理、單模態深度學習表示技術、多模態深度學習基礎技術、多模態預訓練技術四個單元，涵蓋多模態表示、對齊、融合、轉換和預訓練技術。
● 提供四個完整的實戰案例，分別對應多模態表示、對齊、融合和轉換這四個基礎技術，把多模態深度學習技術融入實踐中，加深學生對技術的理解和掌握。提供案例的Jupyter Notebook文件，支持教師一鍵講解。
● 可作為高等院校相關專業的教材，也可作為教輔資料，還可作為學習多模態深度學習技術的參考書。
多模態深度學習技術基礎 內容簡介
內容上，本書力求系統地介紹基于深度學習的圖文多模態信息處理技術，側重介紹*通用、*基礎的技術，覆蓋了多模態表示、對齊、融合和轉換等四大關鍵技術。同時也介紹了多模態信息處理領域的**發展前沿——多模態預訓練模型。此外，為了讓讀者可以實踐這些多模態深度學習技術，本書提供了四個完整的實戰案例，分別對應多模態表示、對齊、融合和轉換這四個關鍵技術。 具體而言，本書的內容分為四個部分：初識多模態信息處理、單模態表示、多模態信息處理的關鍵技術、多模態預訓練模型。 **部分包括兩個章節：第1章介紹多模態信息的基本概念、難點、使用深度學習方法的動機、多模態信息處理的關鍵技術以及這些技術的發展歷史，第2章介紹若干同時涉及圖像和文本的多模態熱門研究任務。 第二部分包括兩個章節：第3和4章分別介紹了多模態信息處理中常用的文本表示和圖像表示方法。 第三部分包括四個章節：第5、6、7、8章分別介紹面向特定任務的多模態表示、對齊、融合和轉換這四個關鍵技術，且每一章都提供了一個可運行的完整的實戰案例。 第四部分包括一個章節：第9章介紹綜合使用上述關鍵技術，并以學習通用多模態表示為目標的多模態預訓練模型。
多模態深度學習技術基礎 目錄
第1章 緒論 1
1.1 多模態信息處理的概念 1
1.2 多模態信息處理的難點 2
1.3 使用深度學習技術的動機 3
1.4 多模態信息處理的基礎技術 4
1.4.1 表示技術 4
1.4.2 對齊技術 4
1.4.3 融合技術 5
1.4.4 轉換技術 5
1.5 多模態深度學習技術的發展歷史 5
1.6 小結 8
1.7 習題 9
第2章 多模態任務 10
2.1 圖文跨模態檢索 10
2.1.1 數據集 11
2.1.2 評測指標 12
2.2 圖像描述 13
2.2.1 數據集 14
2.2.2 評測指標 14
2.3 視覺問答 19
2.3.1 數據集 20
2.3.2 評測指標 23
2.4 文本生成圖像 23
2.4.1 數據集 24
2.4.2 評測指標 25
2.5 指稱表達 27
2.5.1 數據集 29
2.5.2 評測指標 30
2.6 小結 31
2.7 習題 31
第3章 文本表示 32
3.1 基于詞嵌入的靜態詞表示 33
3.1.1 Word2vec 33
3.1.2 GloVe 35
3.2 基于循環神經網絡的動態詞表示 36
3.2.1 循環神經網絡基礎 36
3.2.2 現代循環神經網絡 37
3.2.3 動態詞表示和整體表示 40
3.3 基于注意力的預訓練語言模型表示 42
3.3.1 自注意力 43
3.3.2 transformer編碼器 46
3.3.3 BERT 47
3.3.4 BERT詞表示和整體表示 49
3.4 小結 50
3.5 習題 50
第4章 圖像表示 51
4.1 基于卷積神經網絡的整體表示和網格表示 53
4.1.1 卷積神經網絡基礎 53
4.1.2 現代卷積神經網絡 54
4.1.3 整體表示和網格表示 55
4.2 基于目標檢測模型的區域表示 57
4.2.1 基于深度學習的目標檢測基礎 57
4.2.2 區域表示 58
4.3 基于視覺transformer的整體表示和塊表示 59
4.3.1 使用自注意力代替卷積 59
4.3.2 視覺transformer 60
4.3.3 整體表示和塊表示 61
4.4 基于自編碼器的壓縮表示 62
4.4.1 量化自編碼器：VQ-VAE 62
4.4.2 量化生成對抗網絡：VQGAN 64
4.4.3 變分生成對抗網絡：KLGAN 67
4.4.4 壓縮表示 67
4.5 小結 68
4.6 習題 68
第5章 多模態表示 69
5.1 共享表示 71
5.1.1 多模態深度自編碼器 72
5.1.2 多模態深度生成模型 73
5.2 對應表示 79
5.2.1 基于重構損失的方法 80
5.2.2 基于排序損失的方法 81
5.2.3 基于對抗損失的方法 84
5.3 實戰案例：基于對應表示的跨模態檢索 85
5.3.1 跨模態檢索技術簡介 85
5.3.2 模型訓練流程 86
5.3.3 讀取數據 87
5.3.4 定義模型 95
5.3.5 定義損失函數 99
5.3.6 選擇優化方法 100
5.3.7 評估指標 101
5.3.8 訓練模型 103
5.4 小結 107
5.5 習題 107
第6章 多模態對齊 109
6.1 基于注意力的方法 110
6.1.1 交叉注意力 110
6.1.2 基于交叉注意力的圖文對齊和相關性計算 112
6.2 基于圖神經網絡的方法 115
6.2.1 圖神經網絡基礎 115
6.2.2 單模態表示提取 120
6.2.3 單模態圖表示學習 120
6.2.4 多模態圖對齊 122
6.3 實戰案例：基于交叉注意力的跨模態檢索 123
6.3.1 讀取數據 123
6.3.2 定義模型 129
6.3.3 定義損失函數 131
6.3.4 選擇優化方法 137
6.3.5 評估指標 137
6.3.6 訓練模型 140
6.4 小結 143
6.5 習題 144
第7章 多模態融合 145
7.1 基于雙線性融合的方法 146
7.1.1 多模態低秩雙線性池化 147
7.1.2 多模態因子雙線性池化 148
7.1.3 多模態Tucker融合 149
7.2 基于注意力的方法 150
7.2.1 基于交叉注意力的基礎方法 150
7.2.2 基于多步交叉注意力的方法 151
7.2.3 基于交叉transformer編碼器的方法 152
7.3 實戰案例：基于MFB的視覺問答 153
7.3.1 視覺問答技術簡介 153
7.3.2 讀取數據 154
7.3.3 定義模型 165
7.3.4 定義損失函數 170
7.3.5 選擇優化方法 170
7.3.6 選擇評估指標 171
7.3.7 訓練模型 171
7.4 小結 175
7.5 習題 175
第8章 多模態轉換 177
8.1 基于編解碼框架的方法 178
8.1.1 基于循環神經網絡的編解碼模型 179
8.1.2 基于注意力的編解碼模型 181
8.1.3 基于transformer的編解碼模型 183
8.2 基于生成對抗網絡的方法 185
8.2.1 基于條件生成對抗網絡的基本方法 185
8.2.2 基于多階段生成網絡的方法 187
8.2.3 基于注意力生成網絡的方法 191
8.3 實戰案例：基于注意力的圖像描述 193
8.3.1 圖像描述技術簡介 193
8.3.2 讀取數據 194
8.3.3 定義模型 195
8.3.4 定義損失函數 203
8.3.5 選擇優化方法 204
8.3.6 選擇評估指標 204
8.3.7 訓練模型 206
8.4 小結 209
8.5 習題 210
第9章 多模態預訓練 211
9.1 總體框架 211
9.2 預訓練數據集 212
9.3 模型結構 213
9.3.1 基于編碼器的模型 214
9.3.2 基于編解碼框架的模型 215
9.4 預訓練任務 216
9.4.1 掩碼語言模型 216
9.4.2 掩碼視覺模型 216
9.4.3 圖像文本匹配 217
9.4.4 跨模態對比學習 217
9.5 下游任務 217
9.5.1 視覺常識推理 217
9.5.2 視覺語言推理 218
9.5.3 視覺蘊含 218
9.6 典型模型 218
9.6.1 基于融合編碼器的雙流模型：LXMERT 218
9.6.2 基于融合編碼器的單流模型：ViLT 220
9.6.3 基于雙編碼器的模型：CLIP 222
9.6.4 基于編解碼框架的模型：OFA 223
9.7 小結 226
9.8 習題 226
參考文獻 227
1.1 多模態信息處理的概念 1
1.2 多模態信息處理的難點 2
1.3 使用深度學習技術的動機 3
1.4 多模態信息處理的基礎技術 4
1.4.1 表示技術 4
1.4.2 對齊技術 4
1.4.3 融合技術 5
1.4.4 轉換技術 5
1.5 多模態深度學習技術的發展歷史 5
1.6 小結 8
1.7 習題 9
第2章 多模態任務 10
2.1 圖文跨模態檢索 10
2.1.1 數據集 11
2.1.2 評測指標 12
2.2 圖像描述 13
2.2.1 數據集 14
2.2.2 評測指標 14
2.3 視覺問答 19
2.3.1 數據集 20
2.3.2 評測指標 23
2.4 文本生成圖像 23
2.4.1 數據集 24
2.4.2 評測指標 25
2.5 指稱表達 27
2.5.1 數據集 29
2.5.2 評測指標 30
2.6 小結 31
2.7 習題 31
第3章 文本表示 32
3.1 基于詞嵌入的靜態詞表示 33
3.1.1 Word2vec 33
3.1.2 GloVe 35
3.2 基于循環神經網絡的動態詞表示 36
3.2.1 循環神經網絡基礎 36
3.2.2 現代循環神經網絡 37
3.2.3 動態詞表示和整體表示 40
3.3 基于注意力的預訓練語言模型表示 42
3.3.1 自注意力 43
3.3.2 transformer編碼器 46
3.3.3 BERT 47
3.3.4 BERT詞表示和整體表示 49
3.4 小結 50
3.5 習題 50
第4章 圖像表示 51
4.1 基于卷積神經網絡的整體表示和網格表示 53
4.1.1 卷積神經網絡基礎 53
4.1.2 現代卷積神經網絡 54
4.1.3 整體表示和網格表示 55
4.2 基于目標檢測模型的區域表示 57
4.2.1 基于深度學習的目標檢測基礎 57
4.2.2 區域表示 58
4.3 基于視覺transformer的整體表示和塊表示 59
4.3.1 使用自注意力代替卷積 59
4.3.2 視覺transformer 60
4.3.3 整體表示和塊表示 61
4.4 基于自編碼器的壓縮表示 62
4.4.1 量化自編碼器：VQ-VAE 62
4.4.2 量化生成對抗網絡：VQGAN 64
4.4.3 變分生成對抗網絡：KLGAN 67
4.4.4 壓縮表示 67
4.5 小結 68
4.6 習題 68
第5章 多模態表示 69
5.1 共享表示 71
5.1.1 多模態深度自編碼器 72
5.1.2 多模態深度生成模型 73
5.2 對應表示 79
5.2.1 基于重構損失的方法 80
5.2.2 基于排序損失的方法 81
5.2.3 基于對抗損失的方法 84
5.3 實戰案例：基于對應表示的跨模態檢索 85
5.3.1 跨模態檢索技術簡介 85
5.3.2 模型訓練流程 86
5.3.3 讀取數據 87
5.3.4 定義模型 95
5.3.5 定義損失函數 99
5.3.6 選擇優化方法 100
5.3.7 評估指標 101
5.3.8 訓練模型 103
5.4 小結 107
5.5 習題 107
第6章 多模態對齊 109
6.1 基于注意力的方法 110
6.1.1 交叉注意力 110
6.1.2 基于交叉注意力的圖文對齊和相關性計算 112
6.2 基于圖神經網絡的方法 115
6.2.1 圖神經網絡基礎 115
6.2.2 單模態表示提取 120
6.2.3 單模態圖表示學習 120
6.2.4 多模態圖對齊 122
6.3 實戰案例：基于交叉注意力的跨模態檢索 123
6.3.1 讀取數據 123
6.3.2 定義模型 129
6.3.3 定義損失函數 131
6.3.4 選擇優化方法 137
6.3.5 評估指標 137
6.3.6 訓練模型 140
6.4 小結 143
6.5 習題 144
第7章 多模態融合 145
7.1 基于雙線性融合的方法 146
7.1.1 多模態低秩雙線性池化 147
7.1.2 多模態因子雙線性池化 148
7.1.3 多模態Tucker融合 149
7.2 基于注意力的方法 150
7.2.1 基于交叉注意力的基礎方法 150
7.2.2 基于多步交叉注意力的方法 151
7.2.3 基于交叉transformer編碼器的方法 152
7.3 實戰案例：基于MFB的視覺問答 153
7.3.1 視覺問答技術簡介 153
7.3.2 讀取數據 154
7.3.3 定義模型 165
7.3.4 定義損失函數 170
7.3.5 選擇優化方法 170
7.3.6 選擇評估指標 171
7.3.7 訓練模型 171
7.4 小結 175
7.5 習題 175
第8章 多模態轉換 177
8.1 基于編解碼框架的方法 178
8.1.1 基于循環神經網絡的編解碼模型 179
8.1.2 基于注意力的編解碼模型 181
8.1.3 基于transformer的編解碼模型 183
8.2 基于生成對抗網絡的方法 185
8.2.1 基于條件生成對抗網絡的基本方法 185
8.2.2 基于多階段生成網絡的方法 187
8.2.3 基于注意力生成網絡的方法 191
8.3 實戰案例：基于注意力的圖像描述 193
8.3.1 圖像描述技術簡介 193
8.3.2 讀取數據 194
8.3.3 定義模型 195
8.3.4 定義損失函數 203
8.3.5 選擇優化方法 204
8.3.6 選擇評估指標 204
8.3.7 訓練模型 206
8.4 小結 209
8.5 習題 210
第9章 多模態預訓練 211
9.1 總體框架 211
9.2 預訓練數據集 212
9.3 模型結構 213
9.3.1 基于編碼器的模型 214
9.3.2 基于編解碼框架的模型 215
9.4 預訓練任務 216
9.4.1 掩碼語言模型 216
9.4.2 掩碼視覺模型 216
9.4.3 圖像文本匹配 217
9.4.4 跨模態對比學習 217
9.5 下游任務 217
9.5.1 視覺常識推理 217
9.5.2 視覺語言推理 218
9.5.3 視覺蘊含 218
9.6 典型模型 218
9.6.1 基于融合編碼器的雙流模型：LXMERT 218
9.6.2 基于融合編碼器的單流模型：ViLT 220
9.6.3 基于雙編碼器的模型：CLIP 222
9.6.4 基于編解碼框架的模型：OFA 223
9.7 小結 226
9.8 習題 226
參考文獻 227
展開全部
多模態深度學習技術基礎 作者簡介
王小捷，北京郵電大學人工智能學院教授，智能科學與技術中心主任，中國人工智能學會自然語言理解專委會主任，教育部人工智能領域教學資源及新型教材建設專家組成員、自然語言處理領域首席專家。主要研究方向為自然語言處理與多模態計算，已發表學術論文300余篇。
書友推薦
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
推拿
- >
史學評論
- >
伯納黛特,你要去哪(2021新版)
- >
我從未如此眷戀人間
- >
中國歷史的瞬間
- >
經典常談
本類暢銷
