掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
公路車寶典(ZINN的公路車維修與保養秘籍)
-
>
晶體管電路設計(下)
-
>
基于個性化設計策略的智能交通系統關鍵技術
-
>
花樣百出:貴州少數民族圖案填色
-
>
山東教育出版社有限公司技術轉移與技術創新歷史叢書中國高等技術教育的蘇化(1949—1961)以北京地區為中心
-
>
鐵路機車概要.交流傳動內燃.電力機車
-
>
利維坦的道德困境:早期現代政治哲學的問題與脈絡
通信系統中的變分推理技術--因子圖和消息傳遞方法 版權信息
- ISBN：9787030732378
- 條形碼：9787030732378 ; 978-7-03-073237-8
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
通信系統中的變分推理技術--因子圖和消息傳遞方法 本書特色
本書系統地講述了消息傳遞算法的相關知識，闡述了因子圖以及因子圖上的常用的各種消息更新規則及適用場景
通信系統中的變分推理技術--因子圖和消息傳遞方法 內容簡介
本書系統地講述了消息傳遞算法的相關知識，闡述了因子圖以及因子圖上的常用的各種消息更新規則及適用場景，講述了消息傳遞算法的*小自由能理論依據以及消息傳遞算法在通信系統中的應用。本書聯系當前實際通信技術，使讀者研讀本書后概念清楚，可有目標地將概念應用于實際的通信系統中。 本書可作為信息、通信類相關專業研究生或高年級本科生的參考書目使用，也可供相關領域科研技術人員閱讀參考。
通信系統中的變分推理技術--因子圖和消息傳遞方法 目錄
目錄
前言
第1章 緒論 1
1.1 貝葉斯估計 2
1.2 因子圖研究現狀 4
1.3 消息傳遞算法研究現狀 5
1.4 通信系統接收機及其發展 8
1.4.1 傳統接收機 9
1.4.2 啟發式迭代接收機 10
1.4.3 消息傳遞迭代接收機 11
1.5 本章小結 12
第2章 消息傳遞算法的基礎知識 13
2.1 隨機變量的分布 14
2.1.1 概率密度函數 15
2.1.2 概率質量函數 15
2.1.3 離散型隨機變量的PDF 16
2.2 多維隨機變量 17
2.2.1 二維隨機變量及其分布 17
2.2.2 二維隨機變量的邊緣PDF 18
2.2.3 二維隨機變量的條件PDF 18
2.2.4 隨機變量的獨立性 19
2.3 隨機變量的數字特征 20
2.3.1 數學期望 20
2.3.2 方差 22
2.3.3 協方差和相關系數 23
2.4 常見的概率分布 25
2.4.1 伯努利分布 25
2.4.2 二項分布 25
2.4.3 泊松分布 26
2.4.4 均勻分布 27
2.4.5 伽馬分布 27
2.4.6 指數分布 29
2.4.7 高斯分布 30
2.4.8 瑞利分布 33
2.5 中心極限定理 34
2.6 貝葉斯估計 37
2.6.1 *小均方誤差估計 37
2.6.2 *大后驗估計 38
2.7 信息論 41
2.7.1 自信息量 41
2.7.2 熵 41
2.7.3 相對熵 42
2.8 本章小結 43
第3章 因子圖模型 44
3.1 概率圖模型 44
3.1.1 因子分解 45
3.1.2 常用概率圖模型 45
3.1.3 三種概率圖模型的特點 51
3.2 常見通信系統問題的因子圖模型 51
3.2.1 確定性關系模型 51
3.2.2 概率關系模型 57
3.3 利用因子圖計算邊緣函數 60
3.3.1 計算單個變量的邊緣函數 60
3.3.2 利用因子圖計算單個變量邊緣函數 61
3.3.3 利用因子圖計算全部變量邊緣函數 63
3.4 因子圖變換 73
3.4.1 節點聚合 73
3.4.2 利用節點聚合去環 75
3.4.3 變量節點拉伸 76
3.4.4 利用聯合拉伸聚合去環 78
3.5 本章小結 82
第4章 消息傳遞算法理論 83
4.1 變分自由能與變分推理 83
4.1.1 自由能 83
4.1.2 變分自由能 84
4.1.3 變分推理 85
4.2 平均場規則 86
4.2.1 平均場自由能 86
4.2.2 平均場規則 86
4.3 置信傳播規則 90
4.3.1 因子圖分區及區域化變分自由能 90
4.3.2 Bethe分區與Bethe自由能 95
4.3.3 BP消息更新規則 98
4.4 期望傳播規則 102
4.5 聯合BP-MF規則 105
4.5.1 區域化變分自由能及置信約束條件 106
4.5.2 拉格朗日法求解約束優化問題 107
4.6 聯合BP-EP規則 111
4.6.1 Bethe自由能及置信約束條件 111
4.6.2 拉格朗日法求解約束優化問題 112
4.7 聯合BP-EP-MF規則 117
4.8 本章小結 118
第5章 消息更新規則實例分析 119
5.1 消息更新規則適用場景分析 119
5.1.1 BP規則適用場景 119
5.1.2 MF規則適用場景 124
5.1.3 EP規則適用場景 129
5.1.4 各種消息更新規則適用場景小結 131
5.2 聯合規則適用場景分析 132
5.3 混合消息傳遞規則 139
5.4 近似消息傳遞方法 141
5.4.1 直接高斯近似 141
5.4.2 *小化KL散度 141
5.4.3 泰勒級數展開 142
5.4.4 廣義近似消息傳遞算法 143
5.5 本章小結 153
第6章 經典算法的消息傳遞解釋 154
6.1 隱馬爾可夫模型下經典算法的解釋 154
6.1.1 隱馬爾可夫模型 154
6.1.2 概率計算問題 155
6.1.3 BCJR算法 161
6.1.4 維特比算法 167
6.2 期望*大化算法 171
6.2.1 EM算法簡介 171
6.2.2 EM-ML算法推導 172
6.2.3 EM-ML算法收斂性證明 173
6.2.4 EM-ML算法的因子圖解釋 174
6.3 卡爾曼濾波算法 180
6.3.1 經典Kalman濾波算法 180
6.3.2 Kalman濾波算法因子圖解釋 187
6.3.3 Kalman濾波算法分析 189
6.4 本章小結 190
第7章 消息傳遞算法在ISI信道中的應用 192
7.1 ISI信道下SISO系統模型及問題分析 193
7.2 基于消息傳遞算法的迭代接收機設計 195
7.2.1 基于LOOP-BP規則的迭代接收機設計 195
7.2.2 基于聯合BP-EP規則的迭代接收機設計 204
7.2.3 基于PGA 的迭代接收機設計 210
7.2.4 基于啟發式消息近似的迭代接收機設計 211
7.3 算法比較與仿真分析 212
7.4 本章小結 214
第8章 消息傳遞算法在MIMO-OFDM中的應用 216
8.1 MIMO-OFDM系統模型 216
8.2 基于聯合BP-EP-MF規則的消息傳遞算法迭代接收機 219
8.2.1 多用戶干擾消除 220
8.2.2 信道估計 221
8.2.3 噪聲方差估計 222
8.2.4 檢測和解碼 223
8.2.5 基于聯合BP-EP-MF規則的消息傳遞算法 224
8.3 混合消息傳遞算法迭代接收機 224
8.3.1 多用戶干擾消除 225
8.3.2 信道估計 226
8.3.3 檢測和解碼 227
8.3.4 部分高斯近似算法 228
8.3.5 基于PGA的消息傳遞算法 228
8.4 仿真結果及復雜度分析 229
8.4.1 誤碼率和收斂速度仿真 230
8.4.2 算法復雜度分析 231
8.5 本章小結 232
第9章 消息傳遞算法在無線傳感器網絡定位技術中的應用 234
9.1 基于MF規則的分布式協作節點定位算法 235
9.1.1 網絡模型和因子圖 235
9.1.2 節點位置變量的置信 237
9.1.3 置信近似方法 239
9.1.4 算法調度機制和性能分析 242
9.2 基于聯合BP-MF規則的分布式協作節點定位算法 243
9.2.1 網絡模型和因子圖 243
9.2.2 預測消息的計算 246
9.2.3 協作消息的計算 247
9.2.4 置信的計算和近似 249
9.2.5 算法調度機制和性能分析 250
9.3 本章小結 253
縮寫符號對照表 254
常用符號定義表 256
附錄 257
參考文獻 266
索引 274
展開全部
通信系統中的變分推理技術--因子圖和消息傳遞方法 節選
第1章緒論 在現代工程應用中，往往要對復雜系統中的某些參量進行估計。例如在無線通信系統中，源數據經編碼、調制后由發射天線發出，經過信道傳輸后到達接收機。接收機的功能是從接收信號中*佳地估計出源數據。信號在傳播過程中會受到信道和各類干擾的影響。如圖1.1所示，由于接收者所處地理環境的復雜性，接收到的信號不僅可能有直射波，還可能有從不同物體（建筑物、道路、樹木等）反射、繞射及散射過來的多條不同路徑的電磁波。這些沿不同路徑到達接收端的電磁波的信號強度、到達時間、到達角及載波相位等均不相同，接收端所接收到的信號是上述各路徑信號的矢量和。這些不同路徑信號之間有些相互增強，有些相互抵消，形成小尺度衰落（或多徑效應）[1]。在大量隨機噪聲和干擾的環境下，接收機的目的是從接收到的復雜信號中恢復原始發送數據，這需要對干擾、噪聲和信道等對象進行概率建模，然后利用統計的方法對信號進行處理。 統計信號處理為解決在隨機信號下的估計問題提供了理論依據，它一般使用信號的統計特征完成信號處理任務。統計信號處理主要包括估計理論和檢測理論，其中估計理論主要解決的是從包含隨機噪聲的接收信號里提取感興趣參數的問題。統計信號處理具有廣泛的應用領域，如無線通信中的基帶信號處理、雷達監測、聲吶定位、語音信號處理以及圖像處理等。圖1.1所示問題就可以采用統計信號處理的方法解決。貝葉斯理論認為一個系統中所有未知的參數都是隨機的信號，它們可以是隨機變量，也可以是未知的確定性參數，在這種理念下發展起來的估計方法，稱為貝葉斯估計[2]。本書主要討論貝葉斯估計理論及其應用。 1.1貝葉斯估計 在一個復雜系統中，考慮兩類隨機變量：感興趣的參數和觀.它們的某次實現分別是。貝測和葉斯估計通過選擇合適的損失函數，采用貝葉斯推理得到感興趣參數的估計值。貝葉斯推理（Bayesian Inference）是在給定先驗概率和似然函數的條件下，利用貝葉斯公式求解后驗概率的技術。貝葉斯公式為實現貝葉斯推理與貝葉斯估計提供了理論依據： (1-1) 在貝葉斯估計中，根據損失函數的不同，可以得到兩類主要的*優估計準則：使得二次型風險函數*小的稱為*小均方誤差（Minimum Mean Square Error，MMSE）估計，使得均勻風險函數*小的稱為*大后驗（MaximumA-Posteriori，MAP）估計，兩者分別定義為[3，4]： （1-3） 由式（1-1）～式（1-3）可以看出，這兩種準則的求解需要利用的先驗信息和似然函數，且均需要求解邊緣后驗概率密度函數（Probability DensityFunction，PDF）。原理上，邊緣后驗PDF可以通過邊緣化聯合后驗PDF得到： （1-4） 其中，表示N維隨機變量的聯合后驗PDF，表示除以外的剩余元素（若隨機變量的元素為離散型，上式積分號需改為求和號。本書第2章證明了可以把離散型隨機變量的概率質量函數用等價的PDF表示，那么式（1-4）可適用于連續和離散型隨機變量）。通常把按照式（1-4）求解邊緣后驗PDF的方法稱為精確推理。如果可以得到真實的邊緣后驗，則式（1-2）和式（1-3）可以得到精確解。但是當x的維度比較大時，由于式（1-4）存在多重積分，求解感興趣參數邊緣后驗PDF的計算復雜度很高，甚至是不可實現的。例如在現代通信系統中通常有成千上萬個變量，包括信息比特、編碼比特、調制符號和信道參數等，若，則的取值共有21000種可能。相應的聯合后驗PDF共有21000項，其中計算.或均需2999.1次求和。由此可以看出計算邊緣后驗PDF的復雜度與變量的維度呈指數增長[7]。當變量維度較高時，按照式（1-4）的方法計算邊緣后驗PDF是當前計算條件下難以實現的。此外按照式（1-4）積分，有時聯合后驗PDF積分可能無法得到閉式解。在這些情況下，工程人員通常采用一些近似推理的方法獲得感興趣參數的邊緣后驗PDF。 目前，求解邊緣后驗PDF的近似推理方法主要有兩類：馬爾可夫鏈蒙特卡洛（Marko Chain Monte Carlo，MCMC）方法[8-10]和變分推理（Variational Inference）方法[11]。MCMC方法用大量采樣代替聯合后驗PDF，式（1-4）不再對聯合后驗PDF進行積分，只對采樣計算積分。大量采樣可保證能夠高精度逼近各種類型的復雜函數，但是也造成過高的計算復雜度，難以工程實現[4]。變分推理是一種高性能低成本的近似技術，其基本思想是利用一個易于分解、形式簡單的“實驗”函數。MCMC方法是一種無偏估（稱為置信，Belief）逼近真實的聯合后驗PDF[12]計，在采樣足夠多的情況下可以得到更為精確的估計值，但是計算復雜度高，難以應用于大系統中的估計問題，并且在算法執行過程中需要監控馬爾可夫鏈的收斂；而變分推理是有偏估計，但它效率很高，且是一個確定性方法，通過少量迭代即可達到收斂，計算復雜度低，適合大系統中的估計問題[13]。 變分推理的關鍵問題是找到一個可分解的*優，使其與距離*近。通常度量之間近似程度的指標是KL散度，*優的置信可以通過*小化KL散度求解，即 （1-5） 在變分推理過程中，需要應用某些規則，通過*小化KL（Kullback-Leibler）散度（可以證明等價于*小化系統變分自由能）的方法得到迭代算法，當迭代收斂到固定點時，算法可輸出一個*優置信。常用的規則包括置信傳播[14]、平均場[15]和期望傳播[16]等。為了更好地應用這些規則，我們往往需要借助于圖的方法，把系統中全部變量以及變量之間的關系構成概率圖模型。 圖是一種可以用于描述問題的可視化語言，工程師們經常用圖形來輔助表述問題，比如電路圖、信號流向圖、網格圖以及各種各樣的框圖[17]。概率圖模型是一種表達變量之間概率關系的圖形，一般包括貝葉斯網（Bayesian Network）[18]、馬爾可夫隨機場（Markov Random Field，MRF）[5]和因子圖（Factor Graph，FG）[19]三種類型。貝葉斯網是一種表達變量間因果關系的有向無環圖（Directed Acyclic Graph，DAG）。其形式簡單，但是圖上僅體現變量之間的連接，無法體現連接關系的細節[17]。馬爾可夫隨機場是一組具有馬爾可夫性質①的隨機變量組成的無向圖。其相比于貝葉斯網能夠表示除因果關系外更多的變量間關系，但是應用馬爾可夫隨機場計算復雜度較高，常采用近似方法代替。因子圖是一種表達系統變量聯合PDF因子分解的二分圖（或稱二部圖），圖上包含變量和因子兩類節點。與貝葉斯網、馬爾可夫隨機場相比，因子圖中包含了表示變量間函數關系的因子節點。因子節點的存在使因子圖能夠表達更詳細的變量間關系。此外，因子圖還可以進行拉伸、聚合變換，其應用更加靈活[14，20]。 在這三種概率圖模型上都可以分別應用不同的規則得到不同的迭代算法，這些算法稱為消息傳遞算法。為了獲得*優的置信通常需要依據系統中變量的分布形式，選擇不同的規則。在同一張圖上，因子圖可以聯合應用多種不同的規則，從而得到精度更高的置信。因此，因子圖和消息傳遞算法的結合是貝葉斯估計中更好的選擇。 1.2因子圖研究現狀 由于因子圖更加靈活多變，更適合設計使KL散度更小的迭代估計算法。近年來，因子圖廣泛應用于統計物理、通信、機器學習和信號處理等多個領域[21]，國內外學者對其開展了深入的討論和研究。 *早在圖上解決通信中的工程應用問題起源于1963年，Gallager[22]在博士論文中首次應用圖形方式描述了低密度奇偶校驗碼（Low Density Parity Code，LDPC），引入了在圖形上表達編碼算法的思路。當時計算機處理能力有限且相關理論不夠完善，LDPC編碼漸漸被人們遺忘，但是在圖上表達工程問題的思想引起人們的關注。受其啟發1973年Forney[23]提出“網格圖”，將其作為一種描述有限狀態機中狀態轉移概率關系的方法。隨后，1981年Tanner[24，25]提出了“Tanner圖”，圖中包含“數字”和“子編碼”兩類節點，分別表示編碼比特及編碼比特間的約束關系。1996年Wiberg等人[26]通過引入狀態變量將Tanner圖與網格圖建立聯系，提出了一種圖上的計算方法，并把和積算法（Sum Product Algorithm，SPA）描述為一種在圖上操作的“消息傳遞算法”，這種算法可以用于Viterbi算法、LDPC解碼算法和Turbo解碼算法。Wiberg提出的圖模型包含因子和變量兩種節點，以及節點之間的無向連接線，當前主流的因子圖均采用這種表達方法。1998年Frey[27]首次提出“因子圖”的概念，它或許可以看作是在Wiberg的思想上進一步細化的結果。Frey證明了在同一個系統中，因子圖可以替代貝葉斯網和馬爾可夫隨機場更好地描述系統模型。2000年Aji[28]提出一種基于“連接樹”的圖模型實現函數邊緣化的一般框架，這個框架具有里程碑的意義。2001年Forney[19]提出了Forney形式的因子圖（Forney-Style Factor Graph，FFG），該圖由因子節點和邊組成，變量表示在邊上。FFG形式簡單，易于理解，但是對于復雜系統其圖變換不夠靈活，計算復雜度高。2001年，Kschischang等人[14]使用與Wiberg類似的圖模型，與Forney形式的因子圖不同，這種圖模型增加了變量節點，使得圖變換更為靈活，在復雜系統中能利用圖變換有效降低計算復雜度。接著Kschischang詳細介紹了這種因子圖中的“環”及其對計算性能的影響，同時提出了通過“拉伸”和“聚合”解決該類問題的方法，這標志著因子圖模型已經發展成熟。2004年，Loeliger[17]總結了在Forney形式因子圖上進行信號處理的一般方法，從而使得因子圖以及消息傳遞算法成為重要的形式化設計工具。隨后，因子圖及消息傳遞算法在多個領域取得了一系列成果[29-32]。2017年袁正道等人[20]提出一種增加輔助變量的因子圖拉伸方法，其與Kschischang所提圖變換的目的不同：前者將原本表示復雜函數關系的一個節點變換為幾個節點，每個節點選擇更合適的消息更新規則，*終實現在降低復雜度的同時提高算法性能。后者目的在于消除因子圖中存在的環，保證了算法的收斂，但是增加了算法的復雜度。 一方面，因子圖似乎已經發展到成熟階段，但是作為一種圖模型，因子圖本身是否能夠繼續發展將依賴于圖論的支撐。另一方面，因子圖是設計消息傳遞算法的有力工具，想要發揮其功能，還需在因子圖上根據系統的特點應用不同的規則，設計高性能的消息傳遞算法，*終得到精度更高的置信。本書將重點研究消息傳遞算法在因子圖上的應用。 1.3消息傳遞算法研究現狀 消息傳遞算法是一種可以通過迭代方式實現變分推理的有效工具。該類算法根據系統物理特征將系統變量的聯合后驗PDF進行因子分解并構建因子圖模型，然后在因子圖上采用合適的消息更新規則，得到合理的消息傳遞算法，從而以迭代的方式逐步近似求解各變量的邊緣后驗PDF。 常用的消息更新規則包括：平均場（Mean Field，MF）也稱為變分消息傳遞（Variational Message Passing，VMP）[15]、置信傳播（Belief Propagation，BP）也稱為和積算法[18]和期望傳播（Expectation Propagation，EP）[16]。除了上述獨立的消息更新規則，許多國內外團隊也開展了聯合消息更新規則的研究，提出了聯合BP-MF、聯合BP-EP和聯合BP-EP-MF等規則，這些規則分別適合不同的應用場景。另外，針對一些特殊應用場景，對應用BP規則得到的部分消息進行近似產生了近似消息傳遞（Approximate Message Passing，AMP）類算法[33-3
書友推薦
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
- >
月亮虎
- >
伯納黛特,你要去哪(2021新版)
- >
龍榆生：詞曲概論/大家小書
- >
我與地壇
- >
經典常談
- >
羅庸西南聯大授課錄
- >
煙與鏡
本類暢銷
