中圖網(wǎng)小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應(yīng)用
-
>
決戰(zhàn)行測5000題(言語理解與表達(dá))
-
>
軟件性能測試.分析與調(diào)優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
多模態(tài)人工智能 大模型核心原理與關(guān)鍵技術(shù) 版權(quán)信息
- ISBN：9787121483196
- 條形碼：9787121483196 ; 978-7-121-48319-6
- 裝幀：平裝-膠訂
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>>
多模態(tài)人工智能 大模型核心原理與關(guān)鍵技術(shù) 內(nèi)容簡介
本書是一本人工智能通識課程教材，系統(tǒng)闡述了多模態(tài)人工智能的基礎(chǔ)理論、關(guān)鍵技術(shù)及應(yīng)用場景，深入分析了多模態(tài)學(xué)習(xí)、多模態(tài)訓(xùn)練、多模態(tài)大模型、多模態(tài)理解、多模態(tài)檢索、多模態(tài)生成、多模態(tài)推理、多模態(tài)交互、多模態(tài)安全與可信等核心技術(shù)，旨在提供一個清晰、全面的多模態(tài)人工智能的知識體系，幫助讀者更好地理解和應(yīng)用多模態(tài)人工智能技術(shù)。本書的出版有助于培養(yǎng)人工智能領(lǐng)域的科技人才，推動新質(zhì)生產(chǎn)力發(fā)展，為建設(shè)科技強國提供支撐。
本書適合高等院校計算機科學(xué)與技術(shù)和人工智能等專業(yè)的本科生、研究生閱讀，同時可供對多模態(tài)人工智能技術(shù)感興趣的工程師和研究人員參考。
多模態(tài)人工智能 大模型核心原理與關(guān)鍵技術(shù) 目錄
第1 章 緒論 1
1.1 引言 1
1.2 基本術(shù)語 3
1.2.1 傳感器 3
1.2.2 模態(tài) 3
1.2.3 多模態(tài) 3
1.2.4 算法模型 6
1.2.5 表征學(xué)習(xí) 6
1.2.6 語義理解 7
1.2.7 遷移學(xué)習(xí) 7
1.2.8 內(nèi)容生成 7
1.2.9 模態(tài)融合 8
1.2.10 模態(tài)對齊 8
1.2.11 多模態(tài)學(xué)習(xí) 9
1.3 發(fā)展歷程 9
1.4 應(yīng)用現(xiàn)狀 10
1.5 小結(jié) 12
第2 章 基礎(chǔ)知識 14
2.1 傳統(tǒng)機器學(xué)習(xí) 14
2.1.1 模型評估與選擇 15
2.1.2 線性模型 16
2.1.3 分類 18
2.1.4 回歸 19
2.2 深度學(xué)習(xí) 20
2.2.1 卷積神經(jīng)網(wǎng)絡(luò) 20
2.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 22
2.2.3 Transformer 23
2.3 優(yōu)化算法 25
2.3.1 梯度下降算法 26
2.3.2 反向傳播 27
2.4 應(yīng)用領(lǐng)域 28
2.4.1 計算機視覺 29
2.4.2 自然語言處理30
2.4.3 語音識別 31
2.5 小結(jié) 32
第3 章 多模態(tài)學(xué)習(xí) 34
3.1 模態(tài)表示 34
3.1.1 文本模態(tài)表示 34
3.1.2 視覺模態(tài)表示 37
3.1.3 聲音模態(tài)表示 38
3.1.4 其他模態(tài)表示 40
3.1.5 多模態(tài)聯(lián)合表示 43
3.1.6 多模態(tài)協(xié)同表示 44
3.2 多模態(tài)融合 46
3.2.1 數(shù)據(jù)級融合 46
3.2.2 特征級融合 46
3.2.3 目標(biāo)級融合 47
3.2.4 混合式融合 49
3.3 跨模態(tài)對齊 50
3.3.1 顯式對齊：無監(jiān)督對齊和有監(jiān)督對齊 50
3.3.2 隱式對齊：注意力對齊和語義對齊51
3.4 多模態(tài)協(xié)同學(xué)習(xí) 52
3.4.1 基于平行數(shù)據(jù)的協(xié)同學(xué)習(xí) 52
3.4.2 基于非平行數(shù)據(jù)的協(xié)同學(xué)習(xí) 53
3.4.3 基于混合平行數(shù)據(jù)的協(xié)同學(xué)習(xí) 54
3.5 小結(jié) 56
第4 章 多模態(tài)訓(xùn)練 57
4.1 有監(jiān)督訓(xùn)練 57
4.1.1 視覺監(jiān)督訓(xùn)練 57
4.1.2 文本監(jiān)督訓(xùn)練 61
4.1.3 多模態(tài)監(jiān)督訓(xùn)練 63
4.2 自監(jiān)督訓(xùn)練 72
4.2.1 基于對比學(xué)習(xí)的自監(jiān)督訓(xùn)練73
4.2.2 基于掩碼學(xué)習(xí)的自監(jiān)督訓(xùn)練 75
4.3 混合監(jiān)督訓(xùn)練77
4.3.1 有監(jiān)督與自監(jiān)督的混合監(jiān)督訓(xùn)練 77
4.3.2 半監(jiān)督混合監(jiān)督訓(xùn)練78
4.4 小結(jié) 80
第5 章 多模態(tài)大模型 81
5.1 基礎(chǔ)大模型 81
5.1.1 語言大模型 83
5.1.2 視覺大模型 88
5.1.3 語音大模型 93
5.1.4 多模態(tài)基礎(chǔ)大模型 94
5.2 大語言模型推理方法96
5.2.1 提示學(xué)習(xí) 96
5.2.2 上下文學(xué)習(xí) 99
5.2.3 思維鏈 100
5.3 模型微調(diào)103
5.3.1 LoRA 103
5.3.2 人類反饋強化學(xué)習(xí) 104
5.4 分布式訓(xùn)練 107
5.4.1 DeepSpeed 108
5.4.2 Megatron-LM 111
5.5 小結(jié) 114
第6 章 多模態(tài)理解 115
6.1 圖像描述115
6.1.1 描述方法116
6.1.2 評價指標(biāo)119
6.2 視頻描述 119
6.2.1 視頻定位119
6.2.2 視頻描述120
6.2.3 視頻摘要生成 121
6.2.4 評價指標(biāo)123
6.3 視覺問答 124
6.3.1 問題定義 124
6.3.2 問答方法 125
6.3.3 評價指標(biāo) 132
6.4 小結(jié) 133
第7 章 多模態(tài)檢索 134
7.1 數(shù)據(jù)檢索 134
7.1.1 單模態(tài)數(shù)據(jù)與檢索 135
7.1.2 多模態(tài)數(shù)據(jù)與檢索 138
7.2 跨模態(tài)檢索 139
7.2.1 檢索方法 140
7.2.2 評價指標(biāo) 144
7.3 交互式檢索 146
7.4 小結(jié) 149
第8 章 多模態(tài)生成 150
8.1 圖像生成 150
8.1.1 問題定義 151
8.1.2 生成方法 154
8.1.3 評價指標(biāo) 162
8.2 視頻生成 165
8.2.1 問題定義 166
8.2.2 生成方法 169
8.2.3 評價指標(biāo) 174
8.3 語音生成 177
8.3.1 問題定義 177
8.3.2 合成方法 179
8.3.3 前端處理 183
8.3.4 后端模型 186
8.3.5 評價標(biāo)準(zhǔn) 190
8.4 小結(jié) 191
第9 章 多模態(tài)推理 193
9.1 知識圖譜推理 193
9.1.1 基于規(guī)則學(xué)習(xí) 194
9.1.2 基于路徑排序 197
9.1.3 基于表示學(xué)習(xí) 198
9.1.4 基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 200
9.2 多模態(tài)推理 204
9.2.1 視覺問答 204
9.2.2 視覺常識推理 205
9.2.3 視覺語言導(dǎo)航 208
9.3 小結(jié) 209
第10 章 多模態(tài)交互 210
10.1 可穿戴交互 210
10.1.1 交互方式 212
10.1.2 相關(guān)技術(shù) 214
10.1.3 智能穿戴設(shè)備 216
10.2 人機對話交互 217
10.2.1 語音識別 217
10.2.2 情感識別 218
10.2.3 語音合成 218
10.2.4 對話系統(tǒng) 219
10.3 聲場感知交互 219
10.3.1 動作識別 220
10.3.2 聲源定位 220
10.3.3 副語音信息交互增強 220
10.3.4 音頻感知與識別 221
10.4 混合現(xiàn)實實物交互 221
10.4.1 靜態(tài)被動力觸覺 222
10.4.2 相遇型被動力觸覺 222
10.5 小結(jié) 223
第11 章 多模態(tài)模型安全與可信 224
11.1 模型的可解釋性 224
11.1.1 遷移學(xué)習(xí) 224
11.1.2 反向傳播和顯著性圖 226
11.1.3 特征反演 227
11.1.4 敏感性分析 227
11.1.5 注意力機制 228
11.1.6 沙普利疊加解釋 229
11.2 人工智能倫理規(guī)范 . 230
11.2.1 標(biāo)準(zhǔn)認(rèn)定 230
11.2.2 科技倫理治理 231
11.2.3 行業(yè)自律 233
11.3 小結(jié) . 233
第12 章 總結(jié)與展望 235
12.1 世界模型 235
12.2 情感計算 236
12.3 類腦智能 238
12.4 博弈智能 240
12.5 小結(jié) 241
1.1 引言 1
1.2 基本術(shù)語 3
1.2.1 傳感器 3
1.2.2 模態(tài) 3
1.2.3 多模態(tài) 3
1.2.4 算法模型 6
1.2.5 表征學(xué)習(xí) 6
1.2.6 語義理解 7
1.2.7 遷移學(xué)習(xí) 7
1.2.8 內(nèi)容生成 7
1.2.9 模態(tài)融合 8
1.2.10 模態(tài)對齊 8
1.2.11 多模態(tài)學(xué)習(xí) 9
1.3 發(fā)展歷程 9
1.4 應(yīng)用現(xiàn)狀 10
1.5 小結(jié) 12
第2 章 基礎(chǔ)知識 14
2.1 傳統(tǒng)機器學(xué)習(xí) 14
2.1.1 模型評估與選擇 15
2.1.2 線性模型 16
2.1.3 分類 18
2.1.4 回歸 19
2.2 深度學(xué)習(xí) 20
2.2.1 卷積神經(jīng)網(wǎng)絡(luò) 20
2.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 22
2.2.3 Transformer 23
2.3 優(yōu)化算法 25
2.3.1 梯度下降算法 26
2.3.2 反向傳播 27
2.4 應(yīng)用領(lǐng)域 28
2.4.1 計算機視覺 29
2.4.2 自然語言處理30
2.4.3 語音識別 31
2.5 小結(jié) 32
第3 章 多模態(tài)學(xué)習(xí) 34
3.1 模態(tài)表示 34
3.1.1 文本模態(tài)表示 34
3.1.2 視覺模態(tài)表示 37
3.1.3 聲音模態(tài)表示 38
3.1.4 其他模態(tài)表示 40
3.1.5 多模態(tài)聯(lián)合表示 43
3.1.6 多模態(tài)協(xié)同表示 44
3.2 多模態(tài)融合 46
3.2.1 數(shù)據(jù)級融合 46
3.2.2 特征級融合 46
3.2.3 目標(biāo)級融合 47
3.2.4 混合式融合 49
3.3 跨模態(tài)對齊 50
3.3.1 顯式對齊：無監(jiān)督對齊和有監(jiān)督對齊 50
3.3.2 隱式對齊：注意力對齊和語義對齊51
3.4 多模態(tài)協(xié)同學(xué)習(xí) 52
3.4.1 基于平行數(shù)據(jù)的協(xié)同學(xué)習(xí) 52
3.4.2 基于非平行數(shù)據(jù)的協(xié)同學(xué)習(xí) 53
3.4.3 基于混合平行數(shù)據(jù)的協(xié)同學(xué)習(xí) 54
3.5 小結(jié) 56
第4 章 多模態(tài)訓(xùn)練 57
4.1 有監(jiān)督訓(xùn)練 57
4.1.1 視覺監(jiān)督訓(xùn)練 57
4.1.2 文本監(jiān)督訓(xùn)練 61
4.1.3 多模態(tài)監(jiān)督訓(xùn)練 63
4.2 自監(jiān)督訓(xùn)練 72
4.2.1 基于對比學(xué)習(xí)的自監(jiān)督訓(xùn)練73
4.2.2 基于掩碼學(xué)習(xí)的自監(jiān)督訓(xùn)練 75
4.3 混合監(jiān)督訓(xùn)練77
4.3.1 有監(jiān)督與自監(jiān)督的混合監(jiān)督訓(xùn)練 77
4.3.2 半監(jiān)督混合監(jiān)督訓(xùn)練78
4.4 小結(jié) 80
第5 章 多模態(tài)大模型 81
5.1 基礎(chǔ)大模型 81
5.1.1 語言大模型 83
5.1.2 視覺大模型 88
5.1.3 語音大模型 93
5.1.4 多模態(tài)基礎(chǔ)大模型 94
5.2 大語言模型推理方法96
5.2.1 提示學(xué)習(xí) 96
5.2.2 上下文學(xué)習(xí) 99
5.2.3 思維鏈 100
5.3 模型微調(diào)103
5.3.1 LoRA 103
5.3.2 人類反饋強化學(xué)習(xí) 104
5.4 分布式訓(xùn)練 107
5.4.1 DeepSpeed 108
5.4.2 Megatron-LM 111
5.5 小結(jié) 114
第6 章 多模態(tài)理解 115
6.1 圖像描述115
6.1.1 描述方法116
6.1.2 評價指標(biāo)119
6.2 視頻描述 119
6.2.1 視頻定位119
6.2.2 視頻描述120
6.2.3 視頻摘要生成 121
6.2.4 評價指標(biāo)123
6.3 視覺問答 124
6.3.1 問題定義 124
6.3.2 問答方法 125
6.3.3 評價指標(biāo) 132
6.4 小結(jié) 133
第7 章 多模態(tài)檢索 134
7.1 數(shù)據(jù)檢索 134
7.1.1 單模態(tài)數(shù)據(jù)與檢索 135
7.1.2 多模態(tài)數(shù)據(jù)與檢索 138
7.2 跨模態(tài)檢索 139
7.2.1 檢索方法 140
7.2.2 評價指標(biāo) 144
7.3 交互式檢索 146
7.4 小結(jié) 149
第8 章 多模態(tài)生成 150
8.1 圖像生成 150
8.1.1 問題定義 151
8.1.2 生成方法 154
8.1.3 評價指標(biāo) 162
8.2 視頻生成 165
8.2.1 問題定義 166
8.2.2 生成方法 169
8.2.3 評價指標(biāo) 174
8.3 語音生成 177
8.3.1 問題定義 177
8.3.2 合成方法 179
8.3.3 前端處理 183
8.3.4 后端模型 186
8.3.5 評價標(biāo)準(zhǔn) 190
8.4 小結(jié) 191
第9 章 多模態(tài)推理 193
9.1 知識圖譜推理 193
9.1.1 基于規(guī)則學(xué)習(xí) 194
9.1.2 基于路徑排序 197
9.1.3 基于表示學(xué)習(xí) 198
9.1.4 基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 200
9.2 多模態(tài)推理 204
9.2.1 視覺問答 204
9.2.2 視覺常識推理 205
9.2.3 視覺語言導(dǎo)航 208
9.3 小結(jié) 209
第10 章 多模態(tài)交互 210
10.1 可穿戴交互 210
10.1.1 交互方式 212
10.1.2 相關(guān)技術(shù) 214
10.1.3 智能穿戴設(shè)備 216
10.2 人機對話交互 217
10.2.1 語音識別 217
10.2.2 情感識別 218
10.2.3 語音合成 218
10.2.4 對話系統(tǒng) 219
10.3 聲場感知交互 219
10.3.1 動作識別 220
10.3.2 聲源定位 220
10.3.3 副語音信息交互增強 220
10.3.4 音頻感知與識別 221
10.4 混合現(xiàn)實實物交互 221
10.4.1 靜態(tài)被動力觸覺 222
10.4.2 相遇型被動力觸覺 222
10.5 小結(jié) 223
第11 章 多模態(tài)模型安全與可信 224
11.1 模型的可解釋性 224
11.1.1 遷移學(xué)習(xí) 224
11.1.2 反向傳播和顯著性圖 226
11.1.3 特征反演 227
11.1.4 敏感性分析 227
11.1.5 注意力機制 228
11.1.6 沙普利疊加解釋 229
11.2 人工智能倫理規(guī)范 . 230
11.2.1 標(biāo)準(zhǔn)認(rèn)定 230
11.2.2 科技倫理治理 231
11.2.3 行業(yè)自律 233
11.3 小結(jié) . 233
第12 章 總結(jié)與展望 235
12.1 世界模型 235
12.2 情感計算 236
12.3 類腦智能 238
12.4 博弈智能 240
12.5 小結(jié) 241
展開全部
多模態(tài)人工智能 大模型核心原理與關(guān)鍵技術(shù) 作者簡介
中國科學(xué)院自動化研究所副總工程師，研究員，博導(dǎo)，紫東太初大模型中心常務(wù)副主任，武漢人工智能研究院院長，中國科學(xué)院大學(xué)人工智能學(xué)院崗位教授，主要從事視頻圖像分析、多模態(tài)大模型、自監(jiān)督學(xué)習(xí)，目標(biāo)檢測與跟蹤、細(xì)粒度識別，行為識別等方面的應(yīng)用基礎(chǔ)研究，同時也涉及了模式識別與機器學(xué)習(xí)方面的相關(guān)理論研究。
書友推薦
- >
姑媽的寶刀
- >
小考拉的故事-套裝共3冊
- >
羅曼·羅蘭讀書隨筆-精裝
- >
龍榆生：詞曲概論/大家小書
- >
山海經(jīng)
- >
中國歷史的瞬間
- >
月亮與六便士
- >
羅庸西南聯(lián)大授課錄
本類暢銷
