前言
□□章 機器學(xué)習(xí)簡介 1
1.1 機器學(xué)習(xí)的基本概念 1
1.1.1 何為機器學(xué)習(xí) 1
1.1.2 機器學(xué)習(xí)的發(fā)展歷程 2
1.1.3 機器學(xué)習(xí)與人工智能和深度學(xué)習(xí)之間的關(guān)系 3
1.1.4 機器學(xué)習(xí)的工作流程 4
1.2 兩個簡單的例子 5
1.3 機器學(xué)習(xí)的研究內(nèi)容 6
1.3.1 機器學(xué)習(xí)算法的種類 6
1.3.2 機器學(xué)習(xí)算法的評價標(biāo)準(zhǔn) 7
1.3.3 機器學(xué)習(xí)算法中的過擬合和欠擬合現(xiàn)象 8
1.4 機器學(xué)習(xí)算法概述 9
第2章 優(yōu)化的基本理論 14
2.1 優(yōu)化問題 14
2.2 基本概念與基本結(jié)論 18
2.3 優(yōu)性條件 22
2.4 優(yōu)化模型的 Wolfe 對偶形式 28
2.5 無約束優(yōu)化算法 31
2.5.1 速下降法 32
2.5.2 Newton 法 32
2.5.3 阻尼 Newton 法 33
2.5.4 FR 共軛梯度法 33
2.5.5 Newton-Armijo 法 34
2.6 求解二次規(guī)劃的兩種快速算法 35
2.6.1 對偶坐標(biāo)下降算法 35
2.6.2 逐次超松弛迭代算法 36
2.7 交替方向乘子法簡介 38
2.7.1 乘子法 38
2.7.2 交替方向乘子法 39
2.7.3 全局一致性優(yōu)化 40
2.7.4 基于 1-范數(shù)的 ADMM 41
參考文獻 44
第3章 支持向量分類機 45
3.1 基本概念 45
3.2 硬間隔 SVM 47
3.3 軟間隔 SVM 50
3.4 小二乘 SVM 54
3.5 正則化小二乘 SVM 55
3.5.1 正則化 LSSVM 55
3.5.2 快速學(xué)習(xí) RLSSVM 的方法 57
3.6 正定核函數(shù) 58
3.7 再生核 Hilbert 空間 63
3.8 非線性 SVM 65
3.9 孿生 SVM 68
3.10 孿生有界 SVM 78
3.10.1 線性 TBSVM 78
3.10.2 非線性 TBSVM 81
習(xí)題與思考題 85
參考文獻 86
第4章 支持向量回歸機 88
4.1 回歸問題的提出 88
4.2 線性 SVR 90
4.2.1 線性硬 ε-帶 SVR 91
4.2.2 線性 ε-SVR 93
4.3 非線性 SVR 94
4.4 孿生 SVR 96
4.4.1 線性 TSVR 96
4.4.2 非線性 TSVR 97
4.5 "-孿生 SVR 99
4.5.1 線性 ε-TSVR 99
4.5.2 非線性 ε-TSVR 100
4.6 TSVR 的兩種小二乘形式 102
4.6.1 小二乘 TSVR 102
4.6.2 孿生小二乘 SVR 104
習(xí)題與思考題 107
參考文獻 107
第5章 數(shù)據(jù)的特征組合方法 108
5.1 預(yù)備知識 108
5.1.1 矩陣的范數(shù) 108
5.1.2 矩陣的分解 110
5.1.3 類內(nèi)、類間和總體散陣 112
5.2 主成分分析 113
5.2.1 向量內(nèi)積的幾何含義 113
5.2.2 坐標(biāo)系的變換 113
5.2.3 PCA 算法 115
5.3 線性判別分析 117
5.4 LDA 的推廣 122
5.4.1 經(jīng)典 LDA 123
5.4.2 不相關(guān) LDA 124
5.4.3 正交 LDA 125
5.4.4 正則化 LDA 126
習(xí)題與思考題 127
參考文獻 128
第6章 數(shù)據(jù)聚類方法 130
6.1 k-均值聚類與 k-中心聚類 130
6.1.1 k-均值聚類 130
6.1.2 k-中心聚類 133
6.2 凝聚聚類法 133
6.3 密度聚類法 135
6.4 譜聚類 139
6.4.1 基本概念 139
6.4.2 圖的分割原則 140
6.4.3 譜聚類流程 140
6.5 極大期望聚類法 141
習(xí)題與思考題 143
參考文獻 143
第7章 神經(jīng)網(wǎng)絡(luò)簡介 144
7.1 神經(jīng)元與激活函數(shù) 144
7.2 前饋神經(jīng)網(wǎng)絡(luò) 147
7.3 反向傳播算法 150
7.3.1 誤差的計算 151
7.3.2 梯度的計算 151
7.4 正則化極端學(xué)習(xí)機 152
7.4.1 線性 RELM 153
7.4.2 非線性 RELM 155
7.4.3 在 RELM 中常用的激活函數(shù)和核函數(shù) 157
7.5 卷積神經(jīng)網(wǎng)絡(luò) 158
7.5.1 卷積核的工作原理 159
7.5.2 如何利用權(quán)值和不為 1 的卷積核得到一個灰度圖像 162
7.5.3 卷積核權(quán)值的確定 162
7.5.4 池化層的作用 164
習(xí)題與思考題 166
參考文獻 166
第8章 典型相關(guān)分析 167
8.1 預(yù)備知識 167
8.1.1 隨機變量的方差、協(xié)方差和相關(guān)系數(shù) 167
8.1.2 隨機向量的方差、協(xié)方差和相關(guān)系數(shù) 168
8.1.3 隨機矩陣的方差、協(xié)方差和相關(guān)系數(shù) 169
8.2 經(jīng)典 CCA 170
8.2.1 經(jīng)典 CCA 的數(shù)學(xué)模型 170
8.2.2 經(jīng)典 CCA 的幾何解釋 172
8.2.3 經(jīng)典 CCA 的求解算法 172
8.3 監(jiān)督 CCA 175
習(xí)題與思考題 177
參考文獻 177
彩圖