中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
稀疏學習、分類與識別 版權信息
- ISBN：9787030523471
- 條形碼：9787030523471 ; 978-7-03-052347-1
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
稀疏學習、分類與識別 內容簡介
本書對近年來稀疏學習、分類與識別領域常見的理論及技術進行了較為全面的闡述和總結，并結合作者多年的研究成果，對相關理論及技術在應用領域的實踐情況進行了展示和報告。全書從認稀疏學習、分類與識別三個方面展開，主要內容包含如下方面：機器學習理論基礎；快速密度加權低秩近似譜聚類；雙圖正則非負矩陣分解；學習魯棒低秩矩陣分解；學習譜表示應用于半監督聚類；用低秩矩陣填充學習數據表示；結合約束與低秩核學習的半監督學習；基于子空間類標傳播和正則判別分析的單標記圖像人臉識別；基于雙線性回歸的單標記圖像人臉識別；基于旋轉擴展和稀疏表示的魯棒遙感圖像目標識別；壓縮感知理論基礎；基于分塊策略和過完備字典的非凸壓縮感知框架；基于協同優化的稀疏重構；幾何結構指導的協同壓縮感知；基于過完備字典的方向結構估計模型及重構方法；基于多特征核稀疏表示學習的高光譜圖像分類；基于類級稀疏表示學習的高光譜圖像空譜聯合分類等方法。
稀疏學習、分類與識別 目錄
目錄
前言
第1章 引言 1
1.1 機器學習理論 1
1.1.1 維數約簡 2
1.1.2 稀疏與低秩 2
1.1.3 半監督學習 4
1.2 壓縮感知理論 5
1.2.1 壓縮感知的研究意義 5
1.2.2 壓縮感知的理論框架 6
1.2.3 壓縮感知的重構算法介紹 8
1.3 高光譜遙感技術 9
1.3.1 遙感技術 9
1.3.2 高光譜遙感技術發展現狀 10
1.3.3 高光譜遙感技術的應用 13
參考文獻 15
第2章 機器學習理論基礎 19
2.1 維數約簡的研究進展 19
2.1.1 子空間分割 19
2.1.2 稀疏表示 21
2.1.3 矩陣恢復與填充21
2.1.4 非線性降維 22
2.2 半監督學習與核學習的研究進展 23
2.2.1 半監督學習 23
2.2.2 非參數核學習 24
參考文獻 25
第3章 快速密度加權低秩近似譜聚類 29
3.1 引言 29
3.2 背景與相關工作 30
3.2.1 譜聚類算法 30
3.2.2 近鄰傳播算法 30
3.2.3 Nystrom方法 31
3.3 全局距離測度與采樣算法 33
3.3.1 全局距離 33
3.3.2 快速采樣算法 34
3.4 快速兩階段譜聚類框架 35
3.4.1 采樣階段 36
3.4.2 正交化的密度加權近似譜聚類階段 36
3.5 算法分析 39
3.5.1 采樣算法比較 39
3.5.2 有效性分析 40
3.5.3 快速近鄰搜索 41
3.5.4 復雜度分析 42
3.6 實驗結果 42
3.6.1 雙螺旋線數據 42
3.6.2 實際數據 44
3.6.3 評價指標 44
3.6.4 比較算法 45
3.6.5 聚類結果 46
3.6.6 參數穩定性分析 48
3.6.7 譜嵌入 50
參考文獻 50
附錄 52
第4章 雙圖正則非負矩陣分解 54
4.1 引言 54
4.2 相關工作 55
4.2.1 非負矩陣分解 55
4.2.2 圖正則非負矩陣分解 56
4.2.3 雙正則聯合聚類 57
4.3 雙圖正則非負矩陣分解方法 57
4.3.1 數據圖與特征圖 57
4.3.2 DNMF模型 58
4.3.3 迭代更新規則 59
4.3.4 收斂性分析 60
4.4 雙圖正則非負矩陣三分解 60
4.4.1 DNMTF模型 61
4.4.2 迭代規則 61
4.4.3 收斂性分析 62
4.4.4 復雜度分析 63
4.5 實驗 63
4.5.1 比較算法 63
4.5.2 UCI 數據 64
4.5.3 圖像數據 66
4.5.4 穩定性分析 69
4.5.5 雷達高分辨距離像數據 70
參考文獻 72
附錄A (定理4.1的證明) 74
附錄B (定理4.2的證明) 75
第5章 學習魯棒低秩矩陣分解 77
5.1 引言 77
5.2 相關工作及研究進展 78
5.3 魯棒低秩矩陣分解框架 80
5.3.1 單子空間模型 80
5.3.2 多子空間模型 80
5.4 基于交替方向法的迭代算法 81
5.4.1 引入輔助變量 81
5.4.2 迭代求解算法 82
5.4.3 求解單子空間模型 85
5.4.4 拓展應用于矩陣填充 85
5.4.5 復雜度分析 87
5.5 實驗 87
5.5.1 人工數據聚類 87
5.5.2 人臉聚類 90
5.5.3 背景建模 93
5.5.4 圖像修復 94
參考文獻 95
第6章 學習譜表示應用于半監督聚類 98
6.1 引言 98
6.2 圖的創建與譜表示 99
6.2.1 對稱偏好圖 99
6.2.2 圖拉普拉斯譜嵌入 100
6.3 問題模型與求解 101
6.3.1 目標函數 101
6.3.2 問題求解 102
6.4 算法 103
6.4.1 半監督聚類 103
6.4.2 直推式分類 104
6.4.3 復雜度分析 106
6.5 實驗 106
6.5.1 比較算法與參數設置 106
6.5.2 人工數據集 107
6.5.3 向量型數據 108
6.5.4 圖結構數據 113
6.5.5 半監督聚類應用 115
6.5.6 直推式分類應用 116
參考文獻 117
第7章 應用低秩矩陣填充學習數據表示 120
7.1 引言 120
7.2 學習譜表示框架 122
7.2.1 核矩陣填充 122
7.2.2 提升矩陣學習模型 123
7.3 特征值迭代閾值算法 123
7.3.1 改進的不動點算法 124
7.3.2 加速策略 125
7.3.3 半監督聚類 127
7.3.4 推廣到分類問題 127
7.3.5 復雜度分析 128
7.4 收斂性分析 128
7.5 實驗 129
7.5.1 學習譜表示 129
7.5.2 比較算法與參數設置 130
7.5.3 向量型數據 131
7.5.4 圖結構數據 134
7.5.5 分類應用 136
參考文獻 137
附錄A (定理7.2的證明) 140
附錄B (定理7.3的證明) 140
附錄C (定理7.4的證明) 140
附錄D (定理7.6的證明) 141
第8章 結合約束與低秩核學習的半監督學習 143
8.1 引言 143
8.2 符號與相關工作 145
8.3 復合信息半監督學習框架 147
8.3.1 基本框架 147
8.3.2 核范數正則模型 147
8.4 半監督學習算法 148
8.4.1 改進的不動點迭代算法 149
8.4.2 連續性策略和BB 步長技術 151
8.4.3 標簽傳播 152
8.5 算法分析 154
8.5.1 收斂性分析 154
8.5.2 合法核154
8.5.3 復雜度分析 155
8.5.4 歸納分類 155
8.6 實驗 155
8.6.1 比較算法與參數設置 156
8.6.2 交叉螺旋線數據 156
8.6.3 實際數據 157
8.6.4 直推式分類 158
8.6.5 歸納分類 162
參考文獻 163
第9章 基于子空間類標傳播和正則判別分析的單標記圖像人臉識別 166
9.1 引言 166
9.2 正則判別分析和稀疏保持判別分析 167
9.3 子空間類標傳播 168
9.4 基于子空間類標傳播和正則判別分析的半監督維數約簡 169
9.5 相關方法比較 171
9.6 實驗 172
參考文獻 177
第10章 基于雙線性回歸的單標記圖像人臉識別 178
10.1 引言 178
10.2 LDA和RDA簡述 180
10.2.1 LDA 180
10.2.2 RDA 180
10.3 雙線性回歸 181
10.3.1 基于子空間假設的類標傳播 181
10.3.2 學習稀疏表示結構 182
10.3.3 稀疏保持正則項 183
10.3.4 基于雙線性回歸的半監督維數約簡 184
10.3.5 核DLR 185
10.3.6 計算復雜性分析 186
10.4 相關方法比較 187
10.5 實驗 188
10.5.1 數據庫介紹 188
10.5.2 實驗設置 189
10.5.3 實驗結果與討論 190
10.5.4 DLR方法的進一步探索 194
參考文獻 196
第11章 基于旋轉擴展和稀疏表示的魯棒遙感圖像目標識別 200
11.1 引言 200
11.2 基于稀疏表示的識別 201
11.2.1 稀疏表示 201
11.2.2 稀疏表示用于識別 202
11.3 基于旋轉擴展和稀疏表示的遙感目標識別 203
11.4 實驗結果與分析 205
11.4.1 基于RETSRC的遙感圖像目標識別 206
11.4.2 旋轉擴展倍數對識別性能的影響 207
參考文獻 208
第12章 壓縮感知理論基礎 210
12.1 壓縮感知概述 210
12.1.1 基于字典的稀疏表示 210
12.1.2 壓縮觀測 213
12.1.3 結構化稀疏重構模型 215
12.2 稀疏重構方法 218
12.2.1 凸松弛方法 218
12.2.2 貪婪方法 220
12.2.3 其他重構方法 221
12.2.4 基于自然計算優化方法的稀疏重構 222
參考文獻 223
第13章 基于分塊策略和過完備字典的非凸壓縮感知框架 232
13.1 引言 232
13.2 基于過完備字典的分塊壓縮感知框架 233
13.2.1 分塊壓縮感知 233
13.2.2 過完備字典 233
13.2.3 結構化壓縮感知模型 234
13.3 基于Ridgelet過完備字典的圖像稀疏表示 234
13.4 結構化重構模型 237
13.4.1 基于圖像自相似性的結構稀疏先驗 237
13.4.2 基于圖像塊方向結構估計的重構模型 238
13.5 非凸重構策略 238
參考文獻 239
第14章 基于協同優化的稀疏重構 240
14.1 引言 240
14.2 基于過完備字典的協同壓縮感知 241
14.2.1 基于過完備字典的結構稀疏先驗 241
14.2.2 基于協同優化的稀疏重構策略 241
14.2.3 相關工作 242
14.3 基于過完備字典的協同重構模型 244
14.3.1 基于字典的分塊稀疏重構 244
14.3.2 基于結構稀疏模型的協同重構 244
14.3.3 基于自回歸模型的協同重構 245
14.4 CR-CS協同重構算法 247
參考文獻 254
第15章 基于過完備字典的方向結構估計模型及重構方法 256
15.1 引言 256
15.2 基于方向結構估計的重構模型 257
15.2.1 基于過完備字典的方向結構估計 257
15.2.2 稀疏字典的優化學習 257
15.2.3 基于方向結構估計的進化重構策略 258
15.3 相關工作 260
15.4 方向指導的稀疏字典優化及結構稀疏重構模型 260
15.4.1 方向指導的稀疏字典優化學習 260
15.4.2 基于稀疏子字典的結構稀疏重構模型 262
15.5 基于方向結構估計的非凸重構方法 263
15.5.1 基于字典的結
前言
第1章 引言 1
1.1 機器學習理論 1
1.1.1 維數約簡 2
1.1.2 稀疏與低秩 2
1.1.3 半監督學習 4
1.2 壓縮感知理論 5
1.2.1 壓縮感知的研究意義 5
1.2.2 壓縮感知的理論框架 6
1.2.3 壓縮感知的重構算法介紹 8
1.3 高光譜遙感技術 9
1.3.1 遙感技術 9
1.3.2 高光譜遙感技術發展現狀 10
1.3.3 高光譜遙感技術的應用 13
參考文獻 15
第2章 機器學習理論基礎 19
2.1 維數約簡的研究進展 19
2.1.1 子空間分割 19
2.1.2 稀疏表示 21
2.1.3 矩陣恢復與填充21
2.1.4 非線性降維 22
2.2 半監督學習與核學習的研究進展 23
2.2.1 半監督學習 23
2.2.2 非參數核學習 24
參考文獻 25
第3章 快速密度加權低秩近似譜聚類 29
3.1 引言 29
3.2 背景與相關工作 30
3.2.1 譜聚類算法 30
3.2.2 近鄰傳播算法 30
3.2.3 Nystrom方法 31
3.3 全局距離測度與采樣算法 33
3.3.1 全局距離 33
3.3.2 快速采樣算法 34
3.4 快速兩階段譜聚類框架 35
3.4.1 采樣階段 36
3.4.2 正交化的密度加權近似譜聚類階段 36
3.5 算法分析 39
3.5.1 采樣算法比較 39
3.5.2 有效性分析 40
3.5.3 快速近鄰搜索 41
3.5.4 復雜度分析 42
3.6 實驗結果 42
3.6.1 雙螺旋線數據 42
3.6.2 實際數據 44
3.6.3 評價指標 44
3.6.4 比較算法 45
3.6.5 聚類結果 46
3.6.6 參數穩定性分析 48
3.6.7 譜嵌入 50
參考文獻 50
附錄 52
第4章 雙圖正則非負矩陣分解 54
4.1 引言 54
4.2 相關工作 55
4.2.1 非負矩陣分解 55
4.2.2 圖正則非負矩陣分解 56
4.2.3 雙正則聯合聚類 57
4.3 雙圖正則非負矩陣分解方法 57
4.3.1 數據圖與特征圖 57
4.3.2 DNMF模型 58
4.3.3 迭代更新規則 59
4.3.4 收斂性分析 60
4.4 雙圖正則非負矩陣三分解 60
4.4.1 DNMTF模型 61
4.4.2 迭代規則 61
4.4.3 收斂性分析 62
4.4.4 復雜度分析 63
4.5 實驗 63
4.5.1 比較算法 63
4.5.2 UCI 數據 64
4.5.3 圖像數據 66
4.5.4 穩定性分析 69
4.5.5 雷達高分辨距離像數據 70
參考文獻 72
附錄A (定理4.1的證明) 74
附錄B (定理4.2的證明) 75
第5章 學習魯棒低秩矩陣分解 77
5.1 引言 77
5.2 相關工作及研究進展 78
5.3 魯棒低秩矩陣分解框架 80
5.3.1 單子空間模型 80
5.3.2 多子空間模型 80
5.4 基于交替方向法的迭代算法 81
5.4.1 引入輔助變量 81
5.4.2 迭代求解算法 82
5.4.3 求解單子空間模型 85
5.4.4 拓展應用于矩陣填充 85
5.4.5 復雜度分析 87
5.5 實驗 87
5.5.1 人工數據聚類 87
5.5.2 人臉聚類 90
5.5.3 背景建模 93
5.5.4 圖像修復 94
參考文獻 95
第6章 學習譜表示應用于半監督聚類 98
6.1 引言 98
6.2 圖的創建與譜表示 99
6.2.1 對稱偏好圖 99
6.2.2 圖拉普拉斯譜嵌入 100
6.3 問題模型與求解 101
6.3.1 目標函數 101
6.3.2 問題求解 102
6.4 算法 103
6.4.1 半監督聚類 103
6.4.2 直推式分類 104
6.4.3 復雜度分析 106
6.5 實驗 106
6.5.1 比較算法與參數設置 106
6.5.2 人工數據集 107
6.5.3 向量型數據 108
6.5.4 圖結構數據 113
6.5.5 半監督聚類應用 115
6.5.6 直推式分類應用 116
參考文獻 117
第7章 應用低秩矩陣填充學習數據表示 120
7.1 引言 120
7.2 學習譜表示框架 122
7.2.1 核矩陣填充 122
7.2.2 提升矩陣學習模型 123
7.3 特征值迭代閾值算法 123
7.3.1 改進的不動點算法 124
7.3.2 加速策略 125
7.3.3 半監督聚類 127
7.3.4 推廣到分類問題 127
7.3.5 復雜度分析 128
7.4 收斂性分析 128
7.5 實驗 129
7.5.1 學習譜表示 129
7.5.2 比較算法與參數設置 130
7.5.3 向量型數據 131
7.5.4 圖結構數據 134
7.5.5 分類應用 136
參考文獻 137
附錄A (定理7.2的證明) 140
附錄B (定理7.3的證明) 140
附錄C (定理7.4的證明) 140
附錄D (定理7.6的證明) 141
第8章 結合約束與低秩核學習的半監督學習 143
8.1 引言 143
8.2 符號與相關工作 145
8.3 復合信息半監督學習框架 147
8.3.1 基本框架 147
8.3.2 核范數正則模型 147
8.4 半監督學習算法 148
8.4.1 改進的不動點迭代算法 149
8.4.2 連續性策略和BB 步長技術 151
8.4.3 標簽傳播 152
8.5 算法分析 154
8.5.1 收斂性分析 154
8.5.2 合法核154
8.5.3 復雜度分析 155
8.5.4 歸納分類 155
8.6 實驗 155
8.6.1 比較算法與參數設置 156
8.6.2 交叉螺旋線數據 156
8.6.3 實際數據 157
8.6.4 直推式分類 158
8.6.5 歸納分類 162
參考文獻 163
第9章 基于子空間類標傳播和正則判別分析的單標記圖像人臉識別 166
9.1 引言 166
9.2 正則判別分析和稀疏保持判別分析 167
9.3 子空間類標傳播 168
9.4 基于子空間類標傳播和正則判別分析的半監督維數約簡 169
9.5 相關方法比較 171
9.6 實驗 172
參考文獻 177
第10章 基于雙線性回歸的單標記圖像人臉識別 178
10.1 引言 178
10.2 LDA和RDA簡述 180
10.2.1 LDA 180
10.2.2 RDA 180
10.3 雙線性回歸 181
10.3.1 基于子空間假設的類標傳播 181
10.3.2 學習稀疏表示結構 182
10.3.3 稀疏保持正則項 183
10.3.4 基于雙線性回歸的半監督維數約簡 184
10.3.5 核DLR 185
10.3.6 計算復雜性分析 186
10.4 相關方法比較 187
10.5 實驗 188
10.5.1 數據庫介紹 188
10.5.2 實驗設置 189
10.5.3 實驗結果與討論 190
10.5.4 DLR方法的進一步探索 194
參考文獻 196
第11章 基于旋轉擴展和稀疏表示的魯棒遙感圖像目標識別 200
11.1 引言 200
11.2 基于稀疏表示的識別 201
11.2.1 稀疏表示 201
11.2.2 稀疏表示用于識別 202
11.3 基于旋轉擴展和稀疏表示的遙感目標識別 203
11.4 實驗結果與分析 205
11.4.1 基于RETSRC的遙感圖像目標識別 206
11.4.2 旋轉擴展倍數對識別性能的影響 207
參考文獻 208
第12章 壓縮感知理論基礎 210
12.1 壓縮感知概述 210
12.1.1 基于字典的稀疏表示 210
12.1.2 壓縮觀測 213
12.1.3 結構化稀疏重構模型 215
12.2 稀疏重構方法 218
12.2.1 凸松弛方法 218
12.2.2 貪婪方法 220
12.2.3 其他重構方法 221
12.2.4 基于自然計算優化方法的稀疏重構 222
參考文獻 223
第13章 基于分塊策略和過完備字典的非凸壓縮感知框架 232
13.1 引言 232
13.2 基于過完備字典的分塊壓縮感知框架 233
13.2.1 分塊壓縮感知 233
13.2.2 過完備字典 233
13.2.3 結構化壓縮感知模型 234
13.3 基于Ridgelet過完備字典的圖像稀疏表示 234
13.4 結構化重構模型 237
13.4.1 基于圖像自相似性的結構稀疏先驗 237
13.4.2 基于圖像塊方向結構估計的重構模型 238
13.5 非凸重構策略 238
參考文獻 239
第14章 基于協同優化的稀疏重構 240
14.1 引言 240
14.2 基于過完備字典的協同壓縮感知 241
14.2.1 基于過完備字典的結構稀疏先驗 241
14.2.2 基于協同優化的稀疏重構策略 241
14.2.3 相關工作 242
14.3 基于過完備字典的協同重構模型 244
14.3.1 基于字典的分塊稀疏重構 244
14.3.2 基于結構稀疏模型的協同重構 244
14.3.3 基于自回歸模型的協同重構 245
14.4 CR-CS協同重構算法 247
參考文獻 254
第15章 基于過完備字典的方向結構估計模型及重構方法 256
15.1 引言 256
15.2 基于方向結構估計的重構模型 257
15.2.1 基于過完備字典的方向結構估計 257
15.2.2 稀疏字典的優化學習 257
15.2.3 基于方向結構估計的進化重構策略 258
15.3 相關工作 260
15.4 方向指導的稀疏字典優化及結構稀疏重構模型 260
15.4.1 方向指導的稀疏字典優化學習 260
15.4.2 基于稀疏子字典的結構稀疏重構模型 262
15.5 基于方向結構估計的非凸重構方法 263
15.5.1 基于字典的結
展開全部
稀疏學習、分類與識別 節選
第1章 引言 1.1 機器學習理論 機器學習（machine learning ）是當前人工智能主要的研究發展方向之一。機器學習與認知科學、心理學、計算機科學等許多學科都有著密切的聯系，涉及領域比較廣，已經成功地運用于許多實際問題，并取得了不錯的學習效果，如自動駕駛汽車、疾病預測、下棋和語音識別等[1]。在解決這些實際問題的過程中，機器學習技術被深入地進行分析和研究，得到了迅速發展，并產生了很多優秀的學習算法，如常用的八大機器學習算法：決策樹算法[2]、隨機森林算法[3]、人工神經網絡算法[4]、支持向量機算法[5]、Boosting 與Bagging 算法[6， 7]、關聯規則算法[8， 9]、貝葉斯學習算法[10， 11]以及EM 算法[12]。 近年來隨著計算機及采樣技術的發展，人們可以越來越容易地獲取海量的高維數據，如何從這些數據中找出合理有效的信息并進行探索，已成為機器學習、數據挖掘等領域研究的熱點問題。高維數據對傳統的機器學習與統計分析提出了嚴峻的挑戰，如導致所謂的“維數災難”(curse of dimensionality)[13]，也就是說為保證學習仍能獲得良好的性能，樣本集的大小需隨著問題維數(變量或特征數目)的增加呈指數增長。與之相關的另一個挑戰問題為空空間現象[14](empty space phenomenon)，即高維空間本質上是稀疏空間，如標準正態分布N(0，1)在只有一維變量時，[1， 1]區間內包含接近70%的數據點。然而當變量維數增加到十維時，以原點為球心的單位超球內只包含0.02% 的數據。另外，當樣本數目遠小于維數時，將導致典型的小樣本(small sample size)問題，從而*終影響學習算法的推廣能力[15]。 大量認知科學的實驗驗證了很多高維數據確實存在較低的本征維數，且分布于高維空間中的一個低維子流形上。例如，在不同角度、不同光照情況下，同一個人的圖像集就是一個以姿態、尺度、光照等為參數的低維子流形。這也更加表明對高維數據進行維數約簡具有必要性。人眼能在瞬間認出多年未曾謀面的老同學，然而計算機識別卻很難做到。神經生物學研究發現視感知系統具有某種特性的不變性，且整個神經細胞群的觸發率可由少量維度的變量來描述，這也進一步表明視神經元的群體活動由內在的低維結構所控制[16]。 1.1.1 維數約簡 給定的數據是由n個m維的數據向量xi組成，且該數據集的本征維數為(一般情況下)，其中本征維數為嵌入在D維高維空間的數據集X分布或接近于低維子空間或流形的維數d。維數約簡的基本思想是通過線性或非線性變換把高維的數據集X映射到一個低維空間，從而獲得d(一般d≥d)維的數據表示，同時盡可能地保持原高維數據的信息。 如此一來，維數約簡技術不僅囊括了經典的主成分分析(principal component analysis， PCA)[17]和線性判別分析(linear discriminant analysis， LDA)[18]等方法，而且諸如壓縮感知中的隨機投影[19]、圖像下采樣等策略也自然地歸屬于上述維數約簡定義的范疇。維數約簡通常分為特征提取(如PCA 和LDA)與特征選擇(如圖像下采樣)兩類方法。 維數約簡可在很大程度上避免維數災難，使得學習任務（如分類或聚類等）更加穩定、高效，并產生更優的推廣性能。實際中，對于成千或上萬甚至更高維的數據而言，如何通過維數約簡技術獲得數據的有效表示已變得越來越重要，也更具挑戰性，且要滿足兩個基本特性[20]：數據的維數得到一定程度的約簡，可有效地識別出數據的重要成分、內在結構特征及隱變量等；另外，通過將數據降維至二維或三維進行可視化，人們可準確直觀地感知與發現隱藏在數據中的內在結構與規律。 1.1.2 稀疏與低秩 壓縮感知(compressed sensing， CS)與稀疏表示(sparse representation，SR)是由Candès等提出的一種新的理論框架[21]，*早被用于從低維觀測信號中恢復出高維原始信號，其優化問題如下所述： (1.1) 式中，表示范數，即向量中非零元素的個數；A∈ Rd×m為觀測矩陣。該框架現已被廣泛應用于信號與圖像處理領域，如圖像去噪、恢復(recovery)及超分辨率(supper-resolution)重建等，并取得了巨大成功。該理論框架表明：當感興趣的信號是可稀疏表示的或具有可壓縮性時，可以通過極少的采樣或觀測精確地重構該信號，也就是說，很多現實信號都擁有較多的冗余，類似的說法還有奧卡姆剃刀(Ockham’s razor)原理或*小描述長度(minimal description length)。稀疏表示已成為*近幾年信號處理、機器學習、模式識別及計算機視覺等領域的一個研究熱點。其實稀疏表示的概念早在1996 年Nature中就有涉及，將稀疏性正則引入到*小二乘問題中，計算得到具有方向特性的圖像塊，這樣能很好地解釋初級視皮層(V1)的工作原理[22]。另外，在同一年，著名的Lasso 算法[23]也被提出用于求解帶有稀疏約束的*小二乘問題。 *近幾年，衍生于壓縮感知技術的低秩矩陣重建已成為機器學習、計算機視覺、信號處理、優化等領域*熱的研究方向之一，并在圖像與視頻處理、計算機視覺、文本分析、多任務學習、推薦系統等方面得到了成功的應用[24]。矩陣恢復或填充可看成壓縮感知理論由一維信號到二維矩陣的推廣[25]。矩陣的稀疏性主要表現在兩個方面：**是矩陣元素的稀疏性，即矩陣非0元素的個數相對較少，也就是矩陣的范數；第二是矩陣奇異值(若為對稱矩陣，則為特征值)的稀疏性，即矩陣奇異值中的非0元素的個數相對較少，也就是秩函數值較小。先看矩陣奇異值的稀疏性，即通常假定待恢復或填充的矩陣為低秩的，可通過矩陣的某些線性運算的結果由如下的優化問題精確地重構該矩陣： (1.2) 式中，rank(.)為矩陣的秩函數；A(.)為一個線性算子。具體的低秩矩陣填充問題可表述為如下的形式： (1.3) 式中，Ω為已知元素下標的集合。PΩ()Z 定義為如下的形式： 若同時考慮矩陣元素與矩陣奇異值的稀疏性，可得到兩類*近幾年非常流行的問題模型：魯棒主成分分析(robust principal component analysis， RPCA)或稀疏加低秩矩陣分解(sparse and low-rank matrix decomposition)模型和低秩表示(low-rank representation， LRR)模型。魯棒主成分分析模型可由如下的優化問題描述： 式中，λ>0 為正則參數；為一種特定的正則策略，如用于對高斯噪聲建模的Frobenius 范數[26， 27]，即，處理少量較大幅值噪聲的l0范數[26， 28]，及可有效處理列噪聲或奇異點的l2，0范數[29， 30]等。上述三類不同的噪聲分別如圖1.1所示。 然而上述的式(1.4)隱式地假設觀測數據的潛在結構為單獨一個低秩線性子空間[29， 31， 32]。很多實際數據都分布于多個線性子空間的并集中，且任何數據點屬于某個子空間的關系也是未知的。*近，有一種低秩加稀疏矩陣分解的拓展模型被提出，并被稱為低秩表示模型[29， 30]，即結合子空間分割與噪聲識別于一個框架中用于處理多子空間問題。該低秩表示模型有如下所述的形式： (1.5) 圖1.1 三類不同的噪聲類型[29] 式中，Z∈Rm×n被文獻[30]稱為給定數據X的*低秩表示；D∈Rm×m為一個線性張成數據空間的字典，m為字典中原子或基的數目。 從本質上來講，具有稀疏或低秩結構的數據可由很少的采樣來完成該信號或數據的重建或魯棒性恢復。因為稀疏性與低秩性假設同樣適用于高維數據的分布特點，所以壓縮感知技術非常適合于處理高維數據問題，可有效地避免傳統機器學習與統計分析理論的不足。 1.1.3 半監督學習 傳統的機器學習方法主要分為兩大類：監督學習(supervised learning)和無監督學習(unsupervised learning)[33]。其中前者假設已有一些數據輸入及其相應的輸出，其目的為學習一個映射函數，使得該函數可預測新數據樣本的輸出，典型的問題有分類與回歸；而無監督學習假設僅有一些數據輸入而沒有任何監督信息的指導，其目的是發現隱藏在數據中的某些性質，典型的問題包括聚類、概率密度估計及數據維數約簡。有時標簽數據不足以用于監督學習的訓練，而采用無監督學習又會浪費標簽數據中包含的信息。針對該問題，人們提出了半監督學習(semi-supervised learning， SSL)[33]，它能同時利用少量標簽數據的信息和大量未標記數據中的隱含信息，達到比僅使用一種數據信息更好的學習效果，在理論和實踐中已經引起了廣泛的興趣。文獻[34]的研究表明半監督學習也非常符合人類的學習方式。 SSL又稱為從標簽和無標記數據中學習，是機器學習、數據挖掘與計算機視覺等領域中的一個研究熱點[33]。傳統的監督學習僅使用標簽數據來進行訓練，然而獲取大量的標簽數據通常很難，代價很高且需要耗費一定的人力和物力，還需要有經驗的專家來標注。雖然主動學習(active learning)可有效地減少標注數據的代價，但是與傳統的監督學習一樣，它也不能利用無標簽數據的信息。然而隨著數據采集技術和計算機硬件技術的發展，收集大量的無標簽樣本已非常容易，SSL可同時利用少量標簽數據和大量無標簽數據來進行學習，以半監督分類為例，通過無標簽樣本和有標簽樣本一起構建性能更好的分類器[34]。另外，相對于標注數據，獲得輔助信息(side information)，如成對約束(pairwise constraint)相對更加容易。成對約束表明相應的目標樣本是屬于同類或異類的，一般稱之為Must-link(ML)或Cannot-link (CL)[35-37]。與半監督學習類似的一種方法是直推式學習(transductive learning)，它假定未標注樣本為測試數據，其學習的目的是在那些無標簽樣本上取得*佳的推廣能力。換句話說，SSL是一個開放的系統，即對任何未知的樣本都能進行預測；而直推式學習則是一個封閉的系統，在學習時就已經知道了需要預測的測試數據[38]。 目前，SSL主要基于兩種基本的假設，即聚類假設(cluster assumption)和流形假設(manifold assumption)。其中，聚類假設的內容為處在相同類簇中的樣本有較大的可能性擁有相同的標簽。由此假設可知，決策邊界應該盡量通過數據分布較為稀疏的地方，從而避免把同一稠密類簇中的數據點分到決策邊界兩側，即可表述為低密度分離(low density separation)：決策分界線應該在低密度分布區域。典型的方法主要有直推式SVMs(TSVMs)[39， 40]及其凸放松算法[41， 42]。流形假設的內容是所有數據位于或近似位于高維空間中的一個潛在低維子流形上。與聚類假設著眼于整體特性不同，流形假設主要考慮模型的局部特性，有很多種SSL 方法利用圖拉普拉斯去刻畫數據固有的幾何分布結構，典型的方法有高斯隨機場[43](Gaussian random fields， GRF)、局部與全局一致[44](local and global consistency，LGC)和流形正則[45， 46](manifold regularization)等。*近，Li 等[47]利用成對約束假設和聚類假設共同應用于分類問題，其中成對約束假設的內容為ML 約束的未標注數據點應為同類，而CL 約束的未標注實例應分到不同的類中。 1.2 壓縮感知理論 1.2.1 壓縮感知的研究意義
書友推薦
- >
隨園食單
- >
上帝之肋:男人的真實旅程
- >
二體千字文
- >
龍榆生：詞曲概論/大家小書
- >
伯納黛特,你要去哪(2021新版)
- >
巴金－再思錄
- >
詩經-先民的歌唱
- >
大紅狗在馬戲團-大紅狗克里弗-助人
本類暢銷
