-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
基于視覺的運動目標檢測跟蹤 版權信息
- ISBN:9787030735508
- 條形碼:9787030735508 ; 978-7-03-073550-8
- 裝幀:一般膠版紙
- 冊數:暫無
- 重量:暫無
- 所屬分類:>
基于視覺的運動目標檢測跟蹤 內容簡介
本書為多目視覺下多目標的檢測、跟蹤技術,包括多目視覺環境軟硬件平臺的設計,及多攝像機的標定及三維坐標的計算,單目下多運動目標檢測、跟蹤方法,雙目視覺下基于三維跟蹤技術,多目視覺下的三維跟蹤技術。其中軟硬件平臺設計、攝像機標定是多目視覺下檢測、跟蹤的前提,單目多運動目標檢測是進一步跟蹤的基礎。介紹了多目視覺環境下多目標檢測跟蹤涉及的各項技術,并針對無明顯特征區分多目標、弱小目標、機動目標及運動背景等運動目標檢測跟蹤面臨的問題,給出了多目視覺環境下的方法技術介紹。在內容上詳細地多目視覺下運動目標檢測跟蹤的方法的原理、過程及具體的公式推導過程,并給出了相關方法實踐數據。
基于視覺的運動目標檢測跟蹤 目錄
前言
第1章 緒論 1
1.1 研究意義 1
1.2 國內外研究進展 2
1.2.1 單目視覺下的目標檢測跟蹤 2
1.2.2 雙目及多目視覺下的目標跟蹤 4
1.2.3 機器學習與目標跟蹤 5
1.3 研究框架 17
第2章 多視視頻處理軟硬件平臺 20
2.1 多視圖像、視頻同步采集硬件環境 20
2.2 軟件環境 22
2.3 本章小結 28
第3章 多攝像機標定及三維坐標恢復 29
3.1 攝像機成像模型 29
3.2 攝像機標定 32
3.3 張氏標定算法 34
3.3.1 原理推導 34
3.3.2 畸變模型 38
3.3.3 標定算法流程 38
3.3.4 標定實驗結果 39
3.4 三維重建算法 41
3.5 本章小結 46
第4章 視頻中的多運動目標檢測 47
4.1 結合瞬時差分和背景差分的運動目標檢測 47
4.2 基于形態學處理的標記點檢測 49
4.3 基于Harris角點檢測的標記點檢測 52
4.4 基于迭代閾值的標記點檢測 53
4.5 本章小結 55
第5章 紅外小目標檢測 56
5.1 奇異值分解基本原理 57
5.2 粒子濾波基本原理 58
5.3 基于奇異值分解的背景抑制和粒子濾波的紅外小目標檢測 60
5.3.1 背景抑制 60
5.3.2 目標位置預測 63
5.3.3 算法實現 64
5.4 實驗結果與分析 65
5.5 本章小結 67
第6章 運動背景下目標檢測 68
6.1 基于特征點匹配的圖像匹配 69
6.1.1 特征點匹配 69
6.1.2 實驗結果與分析 71
6.2 基于相鄰幀間背景匹配的目標檢測 72
6.2.1 運動背景圖像匹配 73
6.2.2 運動目標檢測和提取 75
6.2.3 實驗結果與分析 76
6.3 基于離散化攝像機運動的目標檢測方法 77
6.3.1 運動攝像機視野范圍的離散化 77
6.3.2 攝像機靜止情況下的運動目標實時檢測和跟蹤 77
6.3.3 攝像機調度 79
6.3.4 隨動跟蹤 80
6.3.5 實驗結果與分析 81
6.4 本章小結 81
第7章 擴展卡爾曼濾波與均值漂移結合的目標跟蹤 83
7.1 基于均值漂移的目標跟蹤 83
7.2 目標特征匹配與卡爾曼濾波更新 85
7.3 改進的均值漂移目標跟蹤算法 87
7.4 實驗結果與分析 88
7.5 本章小結 89
第8章 基于多子塊模型的長時在線目標跟蹤 90
8.1 在線目標跟蹤框架 90
8.2 可信賴子塊 97
8.2.1 序列化的蒙特卡洛框架 98
8.2.2 子塊的可跟蹤性度量 99
8.2.3 子塊與整體目標的關系 100
8.3 可信賴子塊跟蹤器 101
8.4 線性回歸與循環移位 103
8.4.1 線性回歸模型 103
8.4.2 循環移位 104
8.4.3 循環矩陣 105
8.5 核空間的嶺回歸 106
8.6 融合可信賴子塊與核相關濾波的目標跟蹤 107
8.7 實驗結果與分析 109
8.7.1 實驗設置 109
8.7.2 定量評估與分析 110
8.8 本章小結 114
第9章 基于多軌跡分析的長時在線目標跟蹤 115
9.1 帶核的結構化輸出跟蹤 115
9.2 多跟蹤器分析 117
9.2.1 多跟蹤器 117
9.2.2 軌跡分析 118
9.2.3 *優跟蹤軌跡選擇 122
9.3 實驗結果與分析 123
9.3.1 實驗設置 123
9.3.2 定量評估與分析 123
9.4 本章小結 126
第10章 基于去冗余卷積特征的相關濾波跟蹤 128
10.1 基于相關濾波的多通道特征 129
10.1.1 密集采樣 129
10.1.2 多通道特征 130
10.2 卷積特征去冗余 132
10.2.1 特征通道的激活強度 133
10.2.2 基于激活強度的特征通道去冗余 135
10.3 多層次卷積特征的綜合應用 137
10.3.1 卷積特征的尺度歸一化 137
10.3.2 基于多層次卷積特征的目標定位策略 138
10.4 目標的尺度估計 142
10.5 算法框架及流程 143
10.6 實驗結果與分析 144
10.6.1 實驗設置 144
10.6.2 對比實驗分析 146
10.7 本章小結 154
第11章 基于全卷積孿生網絡的多模板匹配跟蹤 156
11.1 全卷積孿生網絡 156
11.1.1 孿生網絡結構 156
11.1.2 基于全卷積孿生網絡的相似度量 157
11.1.3 網絡訓練 158
11.2 多模板匹配跟蹤 159
11.2.1 多模板匹配 159
11.2.2 多模板的選擇與更新 160
11.2.3 增量式的更新計算 161
11.3 算法框架及流程 163
11.4 實驗結果與分析 164
11.4.1 實驗設置 164
11.4.2 對比實驗與分析 166
11.5 本章小結 175
第12章 雙目視覺下無明顯特征區分的多目標三維跟蹤 176
12.1 基于卡爾曼濾波器的三維跟蹤 176
12.1.1 基于卡爾曼濾波器的目標跟蹤 176
12.1.2 目標搜索匹配 177
12.1.3 目標更新 179
12.2 基于平行光軸攝像機外極線約束的立體匹配 179
12.2.1 外極線約束原理 179
12.2.2 平行光軸攝像機的外極線約束 181
12.2.3 無明顯特征區分的多標記點立體匹配 182
12.3 平行雙目視覺中結合外極線約束的跟蹤 184
12.4 結合人體關節點骨骼長度約束的異常處理 188
12.5 本章小結 190
第13章 雙目視覺下的機動目標跟蹤 192
13.1 灰色預測模型 192
13.2 卡爾曼濾波和灰色預測結合的三維目標跟蹤 196
13.2.1 標記點檢測 196
13.2.2 標記點匹配 198
13.2.3 算法框架 199
13.3 實驗結果與分析 200
13.4 本章小結 203
第14章 多目視覺下多目標融合跟蹤 205
14.1 多目視覺跟蹤系統結構 206
14.2 新標記點的數據關聯算法 208
14.3 標記點融合跟蹤算法 210
14.4 實驗結果與分析 211
14.5 本章小結 216
第15章 基于拓撲結構保持的多目跟蹤 218
15.1 擴展卡爾曼濾波器與自組織特征映射網絡結合的三維跟蹤 218
15.2 基于主成分分析的自動初始化算法 219
15.3 基于自組織特征映射網絡的匹配策略 222
15.4 實驗結果與分析 226
15.5 本章小結 229
參考文獻 230
彩圖
基于視覺的運動目標檢測跟蹤 節選
第1章緒論 1.1研究意義 視覺目標檢測跟蹤是計算機視覺領域的一個重要研究方向,其主要目標是在圖像序列中準確定位到目標的位置。視覺目標跟蹤從興起之初就得到了國內外研究人員的關注。從應用性角度看,在視頻監控、智能機器人、場景分析、軍事對抗等領域,都需要目標跟蹤算法作為關鍵支撐技術;同時,目標跟蹤技術也是進行智能視頻分析和決策等高層任務的基礎,沒有可靠的跟蹤算法,這些高層的視頻理解任務將難以實現。 根據視頻的采集環境,可將視覺目標檢測跟蹤技術分為單目視覺下的運動目標檢測跟蹤和多目視覺下的運動目標檢測跟蹤。單目視覺下的運動目標檢測跟蹤,僅從單個攝像機中采集的視頻中,直接對運動目標進行二維檢測跟蹤。相對于單目視覺下的運動目標檢測跟蹤,多目視覺環境下還需要將多個單目或其檢測跟蹤結果進行關聯、融合,從而實現運動目標的二維甚至三維檢測跟蹤。多目視覺環境下的運動目標檢測跟蹤技術相對于單目環境,其過程更加復雜,但是由于可進行多視點及三維跟蹤,因此能較好地解決遮擋問題(場景對目標的遮擋、目標之間的遮擋),并能有效地對目標進行三維定位。根據處理目標的數量,可將視覺目標檢測跟蹤技術分為單目標檢測跟蹤和多目標檢測跟蹤。多目標檢測跟蹤相對于單目標檢測跟蹤,除了要考慮場景中其他物體對運動的遮擋外,還需要考慮運動目標之間的遮擋、合并及分離。 本書對以上內容進行研究,針對單目視覺下的運動目標檢測跟蹤,分別對自然場景、紅外小目標及運動捕獲等具體應用場景,給出了運動目標檢測、位置預測及模板匹配的跟蹤思路和方法;針對多目視覺下的運動目標檢測跟蹤,結合多目視覺下基于標記點的運動捕獲的實際應用,對無明顯特征區分的多個標記點目標進行三維檢測跟蹤,給出多目視覺環境下多目標檢測跟蹤的遮擋、運動機動性、數據融合等問題的解決思路和方法。 近年來機器學習方法在目標跟蹤中的應用受到了廣泛的關注,且在公開數據集上的測試取得了較好的跟蹤效果。因此本書針對目標長時在線跟蹤中的漂移問題、尺度變換問題及目標精確定位問題,研究了基于機器學習方法的解決思路與過程。 綜上,本書針對視覺環境下目標檢測跟蹤中面臨的遮擋、尺度、機動性、信息融合等問題進行了研究,并通過理論推導給出了有效的解決思路,同時結合實際應用場景,給出了實現方案、方法,這將有力地推動基于視覺的運動目標檢測、跟蹤技術在工程實踐中的應用。 1.2國內外研究進展 1.2.1單目視覺下的目標檢測跟蹤 基于卡爾曼(Kalman)濾波的跟蹤方法[1]由于其跟蹤精度高、運算量小且對運動目標能進行連續穩定的跟蹤,所以自1960年提出后,在很長一段時間內得到了比較廣泛的應用。但是,當目標出現機動時,卡爾曼濾波跟蹤方法無法準確預測出目標的位置,導致跟蹤不準確甚至失敗,故許多學者提出了基于多模型的跟蹤方法[2],如IMM(interacting multiple model,交互多模型)[3]、VSMM(multiple-model estimator with variable structure,變結構多模型估計)方法[4]等,通過利用多個目標狀態模型來逼近目標的真實運動模式(其中每個模型對應著一種可能的機動模式),從而實現對機動目標的有效跟蹤,但是這些方法運算復雜且均是建立在一定的目標運動假設和噪聲特性假設的基礎上,而在實際環境下,目標發生機動并存在起伏時,這些假設往往是不盡合理的。 基于模板匹配的跟蹤將跟蹤問題看作一個匹配問題,即在圖像中找到與待跟蹤目標模板*相近的區域。基于模板匹配的跟蹤算法首先提取目標的特征作為目標描述,然后將特征向量做比較,特征向量的距離*接近即為*相似,具有*小距離的候選樣本即為跟蹤結果。 Briechle和Hanebeck[5]在2001年提出一種歸一化互相關系數(normalized cross correlation,NCC)方法來計算圖像區域的相似度,因此該跟蹤方法也稱NCC跟蹤,該方法以在**幀中初始化的矩形框的灰度值作為目標模板,在之后的每一幀中以前一幀中目標的位置周圍的均勻分布作為候選區域,計算候選區域與模板之間的正相關系數,將計算結果*小的候選區域作為跟蹤到的目標的位置。這種方法不更新模板,在整個跟蹤過程中模板不變。 Comaniciu等人[6]提出了Mean Shift跟蹤算法(圖1.1)。該跟蹤算法在對非剛體目標跟蹤時可得到較好的性能,并能達到實時跟蹤。Mean Shift算法使用顏色直方圖特征作為匹配特征,替代傳統的像素空間特征進行匹配。使得對于發生形變的目標跟蹤效果顯著提高,該算法使用RGB顏色空間的直方圖。對每一幀圖像,跟蹤器將候選窗口的直方圖特征與模板特征進行匹配,使用巴氏距離進行度量,距離*小者作為跟蹤到的目標。目標模板在**幀圖像初始化,跟蹤過程不進行更新。 圖1.1 Mean Shift跟蹤算法 2004年Baker和Matthews[7]提出KLT(Kanade-Lucas-Tomasi)跟蹤算法,KLT方法假定目標不發生較大的位移,且亮度不發生大的變化,在這種前提下,都能得到一個很好的結果。KLT方法將跟蹤問題看作圖像匹配問題,即將輸入圖像對準到模板圖像上。傳統的圖像匹配一般采用滑動窗口搜索方法,而光流法則將其變為一個求解偏移向量的過程,這里的偏移向量又稱光流,因此這種跟蹤方法又叫Lucas光流法,以此完成輸入圖像到模板圖像的跟蹤。 Oron等人[8]在2015年提出LOT(locally orderless tracking)跟蹤算法,該跟蹤算法可以適應目標的外觀變化。LOT跟蹤算法自動估計目標的局部無序量,這使得算法對特定的剛體目標或可變形目標的跟蹤不需要目標的先驗知識。給定初始化的目標邊框,LOT算法將目標分割為超像素,每一個超像素使用質心坐標和HSV(hue,saturation,value)顏色空間的值表示。目標的候選位置在前一幀跟蹤結果的基礎上,使用粒子濾波(particle filter,PF)和高斯權重法估計得到。算法提供隨著時間的推移而變化的目標概率模型,該模型使用陸地移動距離(earth mover’s distance,EMD)作為像素移動和顏色值改變的代價函數,計算每一個候選窗口的似然函數值,將函數值*大的作為目標。 基于模板匹配的跟蹤方法雖然模型單一、計算量小,但對復雜環境下的在線目標跟蹤問題卻難以應對,同時當跟蹤產生漂移時也不能恢復,即不能解決復雜情況下的目標跟蹤。 1.2.2雙目及多目視覺下的目標跟蹤 多目標跟蹤的基本概念是20世紀50年代中期提出的,然而直到70年代隨著卡爾曼濾波技術的廣泛應用,多視覺多目標跟蹤技術才引起人們極大的興趣。此后,Singer和Kanyuck[9]與Bar-Shalom[10]將濾波理論與數據關聯技術有機結合在一起,開創了現代多視覺多目標跟蹤理論及其應用。目前使用單一的統計模型完成目標的跟蹤已經有許多成熟的方法,如Kalman濾波、粒子濾波[11]以及它們改進、擴展的形式,這些跟蹤方法在視頻序列目標跟蹤中得到了廣泛的應用,在目標機動性不大的情況下取得了較好的跟蹤效果。針對機動目標的跟蹤,有關學者提出了多模型的方法[12],即用多個目標狀態模型來逼近目標的真實運動模式,使用模型之間的隨機跳變來描述目標的隨機機動,并基于多個模型設計出多個濾波器,從而實現對機動目標的有效跟蹤。多模型方法分為三代,**代是自治多模型方法,從每個模型的濾波器單元產生一個總體估計,但是總體估計精度并不高。第二代是協作多模型方法,尤其是20世紀80年代末提出的交互多模型(IMM)方法[13],是多模型方法的里程碑,并與各種數據關聯方法以及各種濾波器相結合形成了諸如IMM-(J)PDA(interacting multiple model-joint probabilistic data association)[14]、IMM-MHT(interacting multiple model-multiple hypothesis tracking)[15]、IMM-(U)PF(interacting multiple model-unscented particle filter)[16]等多種目標跟蹤的綜合方案。同時IMM方法被認為是**個達到實際應用水平的多模型跟蹤方法。雖然IMM方法為機動目標跟蹤提供了有效的手段,但是由于該方法基于固定模型集,會出現實際目標運動模式與模型集不匹配的問題,且計算量會隨著模型的增多成指數增長。鑒于上述問題,Li和Bar-Shalom 提出了第三代多模型方法,即具有模型集自適應能力的變結構多模型估計(VSMM)方法[17],例如,模型組切換(model-group switching,MGS)[18]、可能模型集(likely-model set,LMS)[19]、期望模式修正(expected-mode augmentation,EMA)[20]以及一些改進方法等[21]。 國內在多目標跟蹤方面起步較晚,20世紀80年代初,才開始從事這方面技術的研究。目前國防科技大學、清華大學、北京航空航天大學、西安電子科技大學、西北工業大學、中國科學院電子學研究所等多家單位在機動目標跟蹤、多傳感器綜合跟蹤與定位等領域積極開展理論及應用研究,并在戰區指揮自動化、艦隊編隊信息融合、組網雷達數據處理等領域研制出一批具有初步融合能力的多傳感器跟蹤系統。 1.2.3機器學習與目標跟蹤 基于學習的跟蹤算法通過區分前景和背景,實現復雜情況下的魯棒跟蹤。這類方法將目標跟蹤轉化為目標檢測和目標分類問題:首先進行目標檢測,然后將檢測出的目標輸入到訓練好的分類器中,*后根據分類結果決定檢測出的目標是否為待跟蹤目標。這就是目標流行的先檢測后跟蹤(tracking by detection)框架,如圖1.2所示。 圖1.2先檢測后跟蹤框架 基于多示例學習(multiple instance learning,MIL)算法[22]的工作機制如圖1.3所示。該算法根據到目標的距離,將目標附近的樣本都作為正樣本,距離目標較遠的樣本作為負樣本,增加了樣本的數量,并且先對樣本分組再進行訓練,將含有正樣本的樣本組視為正樣本,其他為負樣本。該算法對目標的外觀變化具有較好的魯棒性。 Kalal等人[23]提出了一種將跟蹤、檢測和學習結合的跟蹤算法—TLD(tracking,learning,detection)跟蹤算法。該算法利用魯棒的在線學習機制,使得整體的目標跟蹤更為準確和魯棒。長時間跟蹤過程中,由于環境的復雜性,待跟蹤目標將無法避免發生外觀變化、光照條件變化、尺度變化、遮擋等情況。對于遮擋問題,一個算法能否準確跟蹤的關鍵是,當目標重新出現時,算法應該能夠定位到它的位置,并開始重新對其跟蹤。TLD算法的跟蹤框架如圖1.4所示。TLD跟蹤算法跟蹤速度一般,基本能做到實時跟蹤,對光照變化、尺度變化和形狀變化不敏感,但對復雜背景、邊緣遮擋表現不是很好,當目標運動較快時,跟蹤結果較差。 圖1.3多示例學習樣本的獲取機制 圖1.4 TLD跟蹤框架 傳統算法的分類器只是簡單訓練上下幾幀的圖片,沒有涉及圖片與圖片之間的轉化關系。樣本在訓練中是一樣的權重(與覆蓋目標的面積無關)。另外,正負樣本的選取通常是人為因素決定的。Hare等人[24]提出Struck(structured output tracking with kernels,帶核的結構化輸出跟蹤)算法,Struck算法框架主要由跟蹤器與學習器組成,不再對候選窗口進行分類,而是輸出一個相鄰幀之間的*優變換,以此得到當前幀的目標位置,再對學習器進行更新。學習器使用核化結構輸出支持向量機(kernelized structure output s
- >
我從未如此眷戀人間
- >
唐代進士錄
- >
自卑與超越
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
- >
羅曼·羅蘭讀書隨筆-精裝
- >
名家帶你讀魯迅:故事新編
- >
伊索寓言-世界文學名著典藏-全譯本
- >
大紅狗在馬戲團-大紅狗克里弗-助人