掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰(zhàn)行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
基于強化學習的數(shù)據(jù)驅動優(yōu)化控制方法/博士后文庫 版權信息
- ISBN：9787030728692
- 條形碼：9787030728692 ; 978-7-03-072869-2
- 裝幀：一般膠版紙
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
基于強化學習的數(shù)據(jù)驅動優(yōu)化控制方法/博士后文庫 內容簡介
本書結合作者近年來在優(yōu)化理論、采樣理論和控制理論方面的研究工作，系統(tǒng)地介紹了自適應優(yōu)化控制問題中的強化學習設計方法，充分考慮了學習算法的收斂性和學習過程中閉環(huán)系統(tǒng)的穩(wěn)定性，重點闡述了基于數(shù)據(jù)驅動的優(yōu)化設計方案。針對魯棒控制問題、多玩家非零和博弈問題、多智能體分布式協(xié)同控制問題、事件觸發(fā)采樣機制設計與間歇反饋控制優(yōu)化問題，建立了系統(tǒng)的數(shù)據(jù)驅動優(yōu)化控制設計與分析方法。 本書既注重理論方法分析，又結合工程實際需求，可供從事自動控制工作的科研人員、工程技術人員，以及高等院校自動化、應用數(shù)學及其他相關專業(yè)的高年級本科生、研究生和教師研究與參考。
基于強化學習的數(shù)據(jù)驅動優(yōu)化控制方法/博士后文庫 目錄
目錄
“博士后文庫”序言
前言
符號說明
第1章 緒論 1
1.1 優(yōu)控制理論 1
1.1.1 離散時間動態(tài)系統(tǒng)的*優(yōu)控制 1
1.1.2 連續(xù)時間動態(tài)系統(tǒng)的*優(yōu)控制 2
1.2 強化學習與自適應動態(tài)規(guī)劃 3
1.2.1 自適應動態(tài)規(guī)劃理論基本原理 3
1.2.2 自適應動態(tài)規(guī)劃理論發(fā)展現(xiàn)狀 5
1.3 微分博弈理論 7
1.4 多智能體系統(tǒng)的協(xié)同控制 9
1.5 事件觸發(fā)機制 10
第2章 離散時間不確定線性系統(tǒng)的數(shù)據(jù)驅動魯棒控制設計方法 13
2.1 引言 13
2.2 問題描述 14
2.3 基于代數(shù)里卡蒂方程的魯棒控制器設計方法 16
2.4 同軌策略強化學習算法 21
2.4.1 基于模型的同軌策略強化學習 21
2.4.2 帶有探測噪聲的同軌策略強化學習 22
2.5 異軌策略強化學習 24
2.5.1 基于模型的異軌策略強化學習 24
2.5.2 帶有探測噪聲的異軌策略強化學習 26
2.5.3 無模型的異軌策略強化學習 27
2.6 仿真研究 29
2.7 小結 35
第3章 基于數(shù)據(jù)驅動的離散系統(tǒng)非零和博弈問題求解方法 37
3.1 引言 37
3.2 問題描述 38
3.2.1 非零和博弈問題 38
3.2.2 耦合代數(shù)里卡蒂方程 39
3.3 基于模型的自適應動態(tài)規(guī)劃 44
3.3.1 同軌策略強化學習算法 44
3.3.2 異軌策略強化學習算法 46
3.4 無模型自適應動態(tài)規(guī)劃 51
3.5 仿真研究 54
3.5.1 案例一：離線迭代強化學習算法 55
3.5.2 案例二：同軌策略強化學習算法 56
3.5.3 實例三：異軌策略強化學習算法 57
3.6 小結 61
第4章 連續(xù)時間動態(tài)系統(tǒng)非零和博弈問題的數(shù)據(jù)驅動積分型強化學習方法 62
4.1 引言 62
4.2 問題描述 63
4.2.1 帶衰減系數(shù)的非零和博弈的耦合代數(shù)里卡蒂方程 64
4.2.2 離線策略迭代算法 65
4.3 積分值迭代算法 66
4.3.1 積分值迭代算法 66
4.3.2 具有衰減系數(shù)的等價積分值迭代 69
4.4 理論分析 70
4.4.1 積分值迭代算法的正定性分析 70
4.4.2 積分值迭代算法的穩(wěn)定性分析 71
4.4.3 積分值迭代算法的收斂性分析 73
4.5 仿真研究 76
4.6 小結 80
第5章 基于Q 學習的數(shù)據(jù)驅動間歇反饋控制器設計方法 81
5.1 引言 81
5.2 問題描述 82
5.2.1 時間觸發(fā)*優(yōu)控制 82
5.2.2 間歇反饋控制 83
5.3 靜態(tài)間歇反饋設計 84
5.3.1 基于模型的靜態(tài)事件觸發(fā)控制 84
5.3.2 基于數(shù)據(jù)的靜態(tài)事件觸發(fā)控制 85
5.4 基于Q 學習的數(shù)據(jù)驅動間歇反饋控制 89
5.5 仿真研究 94
5.6 小結 95
第6章 一類異構多智能體系統(tǒng)的數(shù)據(jù)驅動模型參考分布式包含控制設計方法 96
6.1 引言 96
6.2 問題描述 98
6.3 分布式自適應觀測器設計 99
6.4 分布式*優(yōu)模型參考包含控制 105
6.4.1 問題描述 105
6.4.2 非齊次貝爾曼方程 105
6.4.3 非齊次代數(shù)里卡蒂方程和*優(yōu)性討論 107
6.4.4 非齊次代數(shù)里卡蒂方程的求解與穩(wěn)定性分析 108
6.5 完全分布式*優(yōu)模型參考自適應包含控制 109
6.6 基于強化學習的完全分布式自適應*優(yōu)包含控制設計 110
6.6.1 基于模型的強化學習設計方案 110
6.6.2 基于數(shù)據(jù)的強化學習設計方案 111
6.7 仿真研究 114
6.8 小結 118
第7章 數(shù)據(jù)驅動多智能體系統(tǒng)的事件觸發(fā)包含控制設計方法 119
7.1 引言 119
7.2 問題描述 120
7.3 時間觸發(fā)包含控制設計 121
7.4 事件觸發(fā)分布式包含控制設計 122
7.4.1 事件觸發(fā)方案設計 122
7.4.2 事件觸發(fā)機制的可行性分析 125
7.5 異軌策略強化學習 129
7.6 仿真研究 131
7.7 小結 133
參考文獻 134
編后記 153
彩圖
展開全部
基于強化學習的數(shù)據(jù)驅動優(yōu)化控制方法/博士后文庫 節(jié)選
第1章 緒論 1.1 優(yōu)控制理論 優(yōu)控制理論是現(xiàn)代控制理論的核心，起源于控制理論的發(fā)展[1，2]。優(yōu)控制的奠基性貢獻可以追溯到20世紀40年代維納(Wiener)提出的控制論(Cybernetics)[3]。20世紀50年代，錢學森的專著 Engineering Cybernetics進一步推動了優(yōu)控制理論的發(fā)展[4]。1960年在莫斯科召開的**屆國際自動控制聯(lián)合會(International Federation of Automatic Control，IFAC)上，美國科學家卡爾曼(Kalman)、貝爾曼(Bellman)和蘇聯(lián)科學家龐特里亞金(Pontryagin)做了《控制系統(tǒng)的一般性理論》(On the General Theory of Control Systems)、《動態(tài)規(guī)劃》和《優(yōu)控制理論》的報告，這是優(yōu)控制理論發(fā)展的里程碑。 優(yōu)控制問題本質上是帶約束條件的優(yōu)化問題，在一定約束條件下(比如系統(tǒng)的動態(tài)方程或控制輸入受限制)，尋求優(yōu)反饋控制，使得性能指標取極值。早期解決優(yōu)控制問題的數(shù)學工具主要為變分法[5]，將性能指標視為控制函數(shù)的泛函，通過對泛函求極值得到優(yōu)控制。經典變分法建立在容許控制集為開集的假設前提下，只適用于控制輸入不受限制的情況[6]。然而許多實際問題中，控制輸入往往受限，容許控制集為閉集，這使得變分法的應用受到了很大限制。蘇聯(lián)科學家龐特里亞金把優(yōu)控制問題描述為具有約束的非經典變分學問題，針對閉集約束的變分問題，提出了極大值原理[7]。優(yōu)控制問題發(fā)展中的另一個理論基石，是美國科學家貝爾曼在研究多級決策過程優(yōu)化問題中提出的優(yōu)性原理[8]。另外，動態(tài)規(guī)劃方法在經濟管理、生產調度、工程技術等方面得到了廣泛的應用，是求解優(yōu)控制問題的有效手段。 1.1.1 離散時間動態(tài)系統(tǒng)的優(yōu)控制 考慮形如式(1-1)的離散時間動態(tài)系統(tǒng)： (1-1) 其中，是系統(tǒng)的狀態(tài)變量，系統(tǒng)的初始狀態(tài)為x0；是系統(tǒng)的控制變量。優(yōu)控制問題的目標是設計反饋控制，使得形如式(1-2)的性能指標取得極小值： (1-2) 其中，通常被稱為回報函數(shù)(reward function)[9，10]。 關于系統(tǒng)(1-1)的多級決策優(yōu)化問題可以描述為圖1-1。系統(tǒng)從初始狀態(tài) x0出發(fā)，在時刻 i時，系統(tǒng)的狀態(tài)為 xi，此時施加控制 ui，則系統(tǒng)根據(jù)式(1-1)進行狀態(tài)更新。 圖1-1多級決策優(yōu)化問題 在k時刻，將反饋控制 u表達為狀態(tài)的函數(shù) uxk，性能指標 Jxk表示為狀態(tài) xk的函數(shù)；在 k+1時刻，性能指標則可以表示為(k+1) ，則和之間的關系為 (1-3) 上式被稱為貝爾曼方程。根據(jù)貝爾曼優(yōu)性原理，優(yōu)性能指標滿足[9]： (1-4) 且優(yōu)控制可以表示為 (1-5) 從式(1-3)、式(1-4)和式(1-5)可以看出性能指標 Jxk和控制策略之間的關系：是對控制策略 u性能的評價，的設計直接影響性能的大小；反過來，根據(jù)式(1-5)可知，優(yōu)控制策略 uk也依賴于優(yōu)性能指標。 1.1.2 連續(xù)時間動態(tài)系統(tǒng)的優(yōu)控制 考慮形如式(1-6)的連續(xù)時間動態(tài)系統(tǒng)： (1-6) 其中，是系統(tǒng)的狀態(tài)變量，系統(tǒng)的初始狀態(tài)為統(tǒng)的控制輸入。優(yōu)控制問題的目標是設計反饋控制，使得如下的性能指標取得極小值： (1-7) 其中，為回報函數(shù)。 連續(xù)時間動態(tài)系統(tǒng)(式(1-6))關于性能指標(式(1-7))優(yōu)控制問題的優(yōu)解所滿足的充分條件可以由哈密頓-雅可比-貝爾曼(Hamilton-Jacobi-Bellman，HJB)方程所描述[10-12]。假設 t時刻的優(yōu)性能指標為，并且和的偏導數(shù)存在，則優(yōu)控制和優(yōu)性能指標滿足： (1-8) 其中，Ωu表示容許控制集。 根據(jù) HJB方程可知，對于連續(xù)時間動態(tài)系統(tǒng)，優(yōu)控制問題的求解終歸結為求解 HJB方程(式(1-8))。然而 HJB方程本質上是一個非線性偏微分方程，該方程的求解比較困難。此外，對于離散時間動態(tài)系統(tǒng)，難以對優(yōu)控制進行在線求解。這是因為離散時間動態(tài)系統(tǒng)是根據(jù)式(1-1)進行狀態(tài)更新，但是根據(jù)式(1-5)， k時刻優(yōu)控制 uxk依賴于(k+1) ，不滿足因果關系。傳統(tǒng)動態(tài)規(guī)劃方法的另一個缺陷，就是所謂的“維數(shù)災難”問題[13]。所以，傳統(tǒng)動態(tài)規(guī)劃方法僅適用小規(guī)模系統(tǒng)的優(yōu)控制問題求解。自適應/近似動態(tài)規(guī)劃(adaptive/ approximate dynamic programming)，作為一種優(yōu)控制問題的近似求解方法，可以有效地解決傳統(tǒng)動態(tài)規(guī)劃存在的問題。 1.2 強化學習與自適應動態(tài)規(guī)劃 1.2.1 自適應動態(tài)規(guī)劃理論基本原理 自適應動態(tài)規(guī)劃的基本原理是利用函數(shù)近似結構(如用神經網絡)來逼近經典動態(tài)規(guī)劃中的性能指標函數(shù)，從而逼近優(yōu)性能指標和優(yōu)控制[14-27]。自適應動態(tài)規(guī)劃的結構如圖1-2所示[18-20]。 自適應動態(tài)規(guī)劃算法主要由三部分組成：動態(tài)系統(tǒng)、動作網絡和評價網絡。在實際應用中，每個部分的實現(xiàn)由神經網絡執(zhí)行。當系統(tǒng)模型未知時，可以通過神經網絡對系統(tǒng)模型進行辨識。動作網絡生成系統(tǒng)的控制策略，通過調節(jié)動作網絡的參數(shù)來達到逼近優(yōu)控制策略的目的；評價網絡用于評價動作網絡生成的控制策略。不同于傳統(tǒng)的反饋控制方法，圖1-2中評價網絡到動作網絡的增強信號是對動作網絡控制策略的評價結果，這一信號有助于指導動作網絡的優(yōu)化設計。這里需要指出動作網絡和評價網絡的參數(shù)優(yōu)化目標之間的區(qū)別：評價網絡的參數(shù)優(yōu)化的目標是使得評價網絡的輸出滿足貝爾曼方程(式(1-3))；建立在評價網絡基礎上，動作網絡參數(shù)優(yōu)化的目標是小化評價網絡的輸出[28]。 圖1-2 自適應動態(tài)規(guī)劃結構 自適應動態(tài)規(guī)劃中，動作網絡和評價網絡的實現(xiàn)采用神經網絡。動作網絡和評價網絡的經典學習方法分別為值迭代算法和策略迭代算法[9，20-22]。值迭代算法和策略迭代算法的流程如圖1-3所示。從圖中可以看出，自適應動態(tài)規(guī)劃的迭代算法由兩部分組成：策略評價和策略改進，分別對應評價網絡和動作網絡的權值更新。此外，在經典的動態(tài)規(guī)劃方法中，當前時刻的優(yōu)控制依賴于未來時刻狀態(tài)的值函數(shù)，這種非因果特性不利于在線應用。然而自適應動態(tài)規(guī)劃算法具有因果特性，每個部分的參數(shù)調整可以實時進行，從而在線地優(yōu)化整個閉環(huán)系統(tǒng)性能。 圖1-3 值迭代算法和策略迭代算法流程圖 1.2.2 自適應動態(tài)規(guī)劃理論發(fā)展現(xiàn)狀 自適應動態(tài)規(guī)劃是人工智能、機器學習和控制科學交叉的新興領域，以傳統(tǒng)的優(yōu)控制理論為基礎，融合了強化學習(reinforcement learning)[29-32]、自適應評價設計(adaptive critic design)[28]、函數(shù)逼近[33]、自適應控制[34，35]等理論和方法，在電力系統(tǒng)[23-27]、智能電網[36-38]、污水處理[39，40]、交通網絡控制[41]等工程技術領域有著廣泛的應用，為大規(guī)模復雜非線性系統(tǒng)優(yōu)化控制問題提供了有效解決途徑。 機器學習領域里，監(jiān)督學習、非監(jiān)督學習和強化學習是三種基本的學習模式。自適應動態(tài)規(guī)劃與強化學習方法有著密切的聯(lián)系[30，31，42]。Widrow等首次在自適應控制結構中引入了“評價網絡”的概念，通過評價網絡產生的獎勵或懲罰信號，進一步優(yōu)化控制器設計[43]。Werbos利用函數(shù)近似結構來產生獎懲信號，并將這種帶有評價網絡的反饋結構稱為“自適應評價設計”[44]。 神經網絡理論推動了智能控制方法的發(fā)展[45-49]。Werbos利用神經網絡進行評價網絡設計，形成了“啟發(fā)式動態(tài)規(guī)劃”(heuristic dynamic programming)、“二次啟發(fā)式動態(tài)規(guī)劃”(dual heuristic dynamic programming)，以及控制策略依賴型評價策略，包括“控制依賴啟發(fā)式動態(tài)規(guī)劃”(action dependent heuristic dynamic programming)和“控制依賴二次啟發(fā)式規(guī)劃”(action dependent dual heuristic dynamic programming)的控制系統(tǒng)結構，奠定了自適應動態(tài)規(guī)劃的基礎[50]。在此基礎上， Prokhorov和 Wunsch提出了兩種自適應評價結構，包括“全局二次啟發(fā)式規(guī)劃”(generalized dual heuristic programming)以及“控制依賴全局二次啟發(fā)式規(guī)劃”(action dependent generalized dual heuristic programming)，其核心思想是設計評價網絡，同時逼近性能指標函數(shù)及其梯度，以提高控制精度和網絡參數(shù)的學習收斂速度[28]。為了方便自適應動態(tài)規(guī)劃在線運行， Si和 Wang提出了基于模型的啟發(fā)式動態(tài)規(guī)劃結構[51]，Ni等提出了無模型二次啟發(fā)式規(guī)劃結構[52]。Padhi等進一步簡化了自適應動態(tài)規(guī)劃的網絡結構，提出了單一評價網絡的自適應評價設計[53]，并且得到了成功應用[51，54]。美國羅得島大學的何海波教授在“評價機制”的基礎上，引入了“參考網絡”，并且推導出了在線學習算法，更進一步完善了自適應動態(tài)規(guī)劃的結構[55]。 上述關于自適應動態(tài)規(guī)劃的理論研究主要針對網絡結構的優(yōu)化和簡化。近年來，很多學者在自適應動態(tài)規(guī)劃所構成的閉環(huán)系統(tǒng)的穩(wěn)定性方面進行了大量工作。20世紀60年代， Howard針對多級決策問題，提出了值迭代和策略迭代算法，這為自適應動態(tài)規(guī)劃的穩(wěn)定性和收斂性的證明提供了理論基礎[56]。20世紀80年代末到90年代初， Sutton等結合了蒙特卡羅方法(Monte Carlo method)和動態(tài)規(guī)劃理論，提出了“時序差分學習”方法，開辟了強化學習這一新領域[29，31]。20世紀90年代末，美國麻省理工學院(Massachusetts Institute of Technology，MIT)的 Bertsekas等利用泛函分析理論證明了值迭代和策略迭代的收斂性[9，57，58]。 在控制科學領域，自適應動態(tài)規(guī)劃在動態(tài)系統(tǒng)的優(yōu)控制問題上有著成功的應用。 Murray等**次嚴格證明了策略迭代算法的收斂性以及閉環(huán)系統(tǒng)的穩(wěn)定性[59]。Abu-Khalaf和 Lewis針對控制輸入幅值受限的連續(xù)時間動態(tài)系統(tǒng)，設計了自適應動態(tài)規(guī)劃策略迭代方法，并且證明了該算法的閉環(huán)穩(wěn)定性[60]。Vrabie等針對連續(xù)時間動態(tài)系統(tǒng)，提出了一種僅依賴部分模型信息的策略迭代算法[61]。 近年來，數(shù)據(jù)驅動方法被應用于控制器設計上。這種方法的特點是不依賴于被控對象的數(shù)學模型，僅利用采集到的被控系統(tǒng)的運行數(shù)據(jù)，進行控制器設計，并保證閉環(huán)系統(tǒng)的穩(wěn)定性和魯棒性[62-64]。北京交通大學的侯忠生教授所提出的模型參考自適應控制(model reference adaptive control，MRAC)[65-67]，就是一種典型的數(shù)據(jù)驅動控制方法。在自適應動態(tài)規(guī)劃的數(shù)據(jù)驅動算法方面，很多學者做了大量的基礎性研究工作。紐約大學姜鐘平教授團隊借鑒了強化學習中的異軌策略方法，提出了一種數(shù)據(jù)驅動方法[68]。在此基礎上， Modares等將數(shù)據(jù)驅動自適應動態(tài)規(guī)劃方法應用于跟蹤控制問題[69]和 H∞控制問題[70]；Song等將數(shù)據(jù)驅動自適應動態(tài)規(guī)劃方法應用于不確定系統(tǒng)的狀態(tài)調節(jié)問題[71]和非零和微分博弈問題[72]。對于不確定系統(tǒng)的魯棒控制問題，自適應動態(tài)規(guī)劃理論也有著成功的應用。東北大學張化光教授等提出了利用遞歸神經網絡進行系統(tǒng)模型的辨識，系統(tǒng)模型的辨識與評價網絡、動作網絡的權值
書友推薦
- >
山海經
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
伊索寓言-世界文學名著典藏-全譯本
- >
自卑與超越
- >
羅曼·羅蘭讀書隨筆-精裝
- >
伯納黛特,你要去哪(2021新版)
- >
隨園食單
- >
羅庸西南聯(lián)大授課錄
本類暢銷
