中圖網(wǎng)小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應(yīng)用
-
>
決戰(zhàn)行測5000題(言語理解與表達(dá))
-
>
軟件性能測試.分析與調(diào)優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
強化學(xué)習(xí) 版權(quán)信息
- ISBN：9787121476617
- 條形碼：9787121476617 ; 978-7-121-47661-7
- 裝幀：暫無
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
強化學(xué)習(xí) 內(nèi)容簡介
本書詳細(xì)介紹了強化學(xué)習(xí)的理論推導(dǎo)、算法細(xì)節(jié)。全書共12章，包括強化學(xué)習(xí)概述、馬爾可夫決策過程、退化的強化學(xué)習(xí)問題、環(huán)境已知的強化學(xué)習(xí)問題、基于價值的強化學(xué)習(xí)算法、基于策略的強化學(xué)習(xí)算法、AC型算法、基于模型的強化學(xué)習(xí)算法等相關(guān)知識。本書系統(tǒng)性強、概念清晰，內(nèi)容簡明通俗。除了側(cè)重于理論推導(dǎo)，本書還提供了許多便于讀者理解的例子，以及大量被實踐證明有效的算法技巧，旨在幫助讀者進一步了解強化學(xué)習(xí)領(lǐng)域的相關(guān)知識，提升其現(xiàn)實中的工程能力。本書可作為高等院校數(shù)學(xué)、計算機、人工智能等相關(guān)專業(yè)的強化學(xué)習(xí)教材，但需要有機器學(xué)習(xí)、深度學(xué)習(xí)等前置課程作為基礎(chǔ)。
強化學(xué)習(xí) 目錄
第1章 緒論 1
1.1 強化學(xué)習(xí)是什么 1
1.2 強化學(xué)習(xí)的基本思想 3
1.2.1 從環(huán)境中產(chǎn)生數(shù)據(jù) 3
1.2.2 求解*優(yōu)策略 5
1.3 強化學(xué)習(xí)為什么重要 6
1.4 本書內(nèi)容介紹 9
參考文獻 10
第2章 馬爾可夫決策過程 11
2.1 馬爾可夫過程 11
2.2 馬爾可夫決策過程的定義 12
2.3 馬爾可夫過程與馬爾可夫決策過程的對比 15
2.4 馬爾可夫決策過程的分類 15
2.4.1 馬爾可夫決策過程是否發(fā)生退化 16
2.4.2 環(huán)境是否已知 17
2.4.3 環(huán)境的確定性與隨機性 18
2.4.4 馬爾可夫決策過程的時齊性 20
2.4.5 狀態(tài)與動作的連續(xù)性 22
*2.4.6 時間的連續(xù)性 23
2.4.7 小結(jié) 24
2.5 馬爾可夫決策過程的獎勵函數(shù) 25
思考題 26
參考文獻 27
第3章 退化的強化學(xué)習(xí)問題 28
3.1 盲盒售貨機問題 28
3.2 探索-利用困境 31
3.3 各種不同的探索策略 33
3.3.1 -貪心策略 33
3.3.2 玻爾茲曼探索策略 35
3.3.3 上置信界策略 36
3.4 總結(jié) 36
思考題 37
參考文獻 37
第4章 *優(yōu)控制 38
4.1 基于價值的思想 38
4.1.1 三連棋游戲策略 38
4.1.2 價值的定義 42
4.1.3 基于價值和基于策略 45
4.1.4 小結(jié) 46
思考題 47
4.2 動態(tài)規(guī)劃 47
4.2.1 策略迭代法 47
4.2.2 雅可比迭代法 48
4.2.3 值迭代法 50
4.2.4 軟提升 51
4.2.5 小結(jié) 53
思考題 54
4.3 LQR控制 55
4.3.1 基本LQR控制問題 55
4.3.2 LQR控制器 56
*4.3.3 環(huán)境隨機的LQR控制問題 59
4.3.4 iLQR控制器 61
4.3.5 實時規(guī)劃 63
4.3.6 小結(jié) 64
思考題 65
4.4 總結(jié) 65
參考文獻 66
第5章 基于價值的強化學(xué)習(xí) 68
5.1 Q-Learning 68
5.1.1 Q表格 69
5.1.2 產(chǎn)生數(shù)據(jù)集的方式：探索與利用 69
5.1.3 探索策略 71
5.1.4 使用訓(xùn)練數(shù)據(jù)的方法：經(jīng)驗回放 73
思考題 74
5.2 Sarsa 74
5.2.1 基本Sarsa算法 74
5.2.2 同策略與異策略 76
5.2.3 n步Sarsa 77
5.2.4 -return算法 78
*5.2.5 n步Q-Learning 79
思考題 80
5.3 DQN及其變體 81
5.3.1 固定Q目標(biāo)結(jié)構(gòu) 81
5.3.2 雙重DQN 84
5.3.3 優(yōu)先回放機制 86
5.3.4 優(yōu)勢函數(shù) 88
5.3.5 Dueling DQN 90
*5.3.6 Rainbow 92
思考題 94
*5.4 NAF 94
*5.4.1 標(biāo)準(zhǔn)化優(yōu)勢函數(shù) 94
*5.4.2 NAF的訓(xùn)練 96
5.5 總結(jié)：基于價值的強化學(xué)習(xí)算法 97
參考文獻 98
第6章 策略函數(shù)與策略梯度 100
6.1 策略函數(shù)與期望回報 100
6.2 無梯度方法 101
6.2.1 增強隨機搜索 102
6.2.2 交叉熵算法 104
6.2.3 進化算法 104
6.3 策略梯度 106
6.3.1 策略網(wǎng)絡(luò)的構(gòu)造 106
6.3.2 策略梯度的計算 108
6.3.3 基本策略梯度算法 111
*6.3.4 動作連續(xù)的策略梯度 113
6.4 策略梯度的訓(xùn)練技巧 114
6.4.1 基準(zhǔn)法 114
6.4.2 經(jīng)驗回放 116
6.4.3 探索策略 118
6.5 總結(jié) 119
思考題 120
參考文獻 121
第7章 AC算法 122
7.1 基本AC算法 122
7.1.1 AC算法的出發(fā)點 122
7.1.2 化簡策略梯度公式 123
7.1.3 AC算法的基本思想 126
7.1.4 單步更新與回合更新 128
思考題 129
7.2 AC算法的訓(xùn)練技巧 129
7.2.1 廣義優(yōu)勢函數(shù)估計 129
7.2.2 控制訓(xùn)練兩個網(wǎng)絡(luò)的步調(diào) 131
7.2.3 ACER 133
思考題 134
7.3 A3C與A2C 135
7.3.1 并行訓(xùn)練 135
7.3.2 A3C 137
7.3.3 A2C 140
思考題 141
參考文獻 141
第8章 AC型算法 143
8.1 自然梯度法 143
8.1.1 牛頓法 144
8.1.2 信賴域方法 146
8.1.3 近似點法 146
*8.1.4 自然策略梯度 147
8.2 TRPO與PPO算法 149
8.2.1 策略提升 149
8.2.2 TRPO算法 151
8.2.3 PPO算法 152
8.2.4 TRPO與PPO算法的訓(xùn)練技巧 155
8.2.5 小結(jié) 156
思考題 157
8.3 DDPG 157
8.3.1 動作連續(xù)問題的網(wǎng)絡(luò)結(jié)構(gòu) 158
8.3.2 從基于價值的角度理解DDPG算法 158
8.3.3 DDPG算法及訓(xùn)練技巧 159
8.3.4 確定策略下的策略梯度 162
8.3.5 從基于策略的角度理解DDPG算法 163
思考題 165
*8.4 Soft AC 165
8.5 總結(jié)：基于策略的算法 168
8.5.1 基于價值和基于策略 169
8.5.2 偏差-方差取舍 170
8.5.3 策略的空間 172
8.5.4 訓(xùn)練數(shù)據(jù)的產(chǎn)生與使用 172
8.5.5 小結(jié) 173
參考文獻 174
第9章 基于模型的基本思想 175
9.1 MBRL概述 175
9.2 模型是什么 177
9.2.1 各種模型及其基本用法 178
9.2.2 更多的模型變體 179
9.2.3 模型的一些特點 180
*9.2.4 對模型的理解 185
思考題 188
9.3 如何使用黑盒模型 189
9.3.1 用黑盒模型增廣數(shù)據(jù) 189
9.3.2 權(quán)衡數(shù)據(jù)成本與準(zhǔn)確性 191
9.3.3 黑盒模型的其他用途 193
9.3.4 小結(jié) 194
思考題 194
9.4 如何使用白盒模型 195
9.4.1 用白盒模型輔助進行策略優(yōu)化 195
9.4.2 用白盒模型解*優(yōu)控制 197
9.4.3 小結(jié) 199
思考題 199
參考文獻 200
第10章 基于模型的強化學(xué)習(xí)進階 202
10.1 如何學(xué)習(xí)模型 202
10.1.1 讓學(xué)習(xí)更符合*終目標(biāo) 202
10.1.2 讓學(xué)習(xí)本身成為目標(biāo) 203
10.1.3 以學(xué)習(xí)作為唯一目標(biāo) 206
10.1.4 小結(jié) 209
思考題 209
10.2 世界模型 210
10.2.1 觀察 210
10.2.2 POMDP 212
10.2.3 為世界建模 214
10.2.4 Dreamer 218
思考題 220
10.3 實時規(guī)劃 221
10.3.1 實時規(guī)劃的基本思想 221
10.3.2 蒙特卡洛樹搜索 224
10.3.3 模型預(yù)測控制 230
思考題 233
10.4 MBRL算法思想總結(jié) 233
參考文獻 235
*第11章 連續(xù)時間的*優(yōu)控制 238
11.1 時間連續(xù)的*優(yōu)控制問題 238
11.2 H-J-B方程 239
11.2.1 連續(xù)時間的貝爾曼方程 239
*11.2.2 用H-J-B方程求解LQR控制問題 242
11.2.3 總結(jié)：關(guān)于價值的方程 245
思考題 247
*11.3 變分原理 247
11.3.1 從有窮維空間到無窮維空間 247
11.3.2 變分問題 250
*11.3.3 歐拉-拉格朗日方程 252
*11.3.4 用變分法求解*優(yōu)控制問題 255
11.3.5 總結(jié)：策略的*優(yōu)化 257
思考題 258
參考文獻 258
*第12章 其他強化學(xué)習(xí)相關(guān)內(nèi)容 259
12.1 獎勵函數(shù)的改造與混合 259
12.2 逆向強化學(xué)習(xí) 261
12.3 層次強化學(xué)習(xí) 262
12.4 離線強化學(xué)習(xí) 264
參考文獻 266
展開全部
強化學(xué)習(xí) 作者簡介
余欣航，本科畢業(yè)于北京大學(xué)數(shù)學(xué)科學(xué)院，廣東交通數(shù)據(jù)中心算法主要負(fù)責(zé)人，using.ai早期合伙人，廣東聯(lián)合電子資深工程師，主要研究方向為機器學(xué)習(xí)、強化學(xué)習(xí)以及其在智能制造、智慧交通等領(lǐng)域的應(yīng)用。科幻作家，代表作為《情詩戀曲》、《疑云龍影》、《一中攻防戰(zhàn)》等
書友推薦
- >
李白與唐代文化
- >
我從未如此眷戀人間
- >
姑媽的寶刀
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
名家?guī)阕x魯迅:故事新編
- >
中國歷史的瞬間
- >
伯納黛特,你要去哪(2021新版)
- >
龍榆生：詞曲概論/大家小書
本類暢銷
