中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
視覺語言交互中的視覺推理研究 版權信息
- ISBN：9787111723035
- 條形碼：9787111723035 ; 978-7-111-72303-5
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
視覺語言交互中的視覺推理研究 本書特色
適讀人群 ：科研人員、研究生、從業者適讀人群 ：研究生、科研人員、從業者等 ◆中國計算機領域具有重要突破或重要創新的博士研究生科研成果 ◆2021年度CCF優秀博士學位論文獎 ◆知識建模和知識推斷兩個方面 ◆單輪交互和多輪交互兩個場景 ◆去除直接因果效應，克服模型對語言偏差的依賴
視覺語言交互中的視覺推理研究 內容簡介
《視覺語言交互中的視覺推理研究》的作者牛玉磊博士于2020年在中國人民大學取得博士學會，后前往美國哥倫比亞大學開展博士后研究工作。本書從知識建模和知識推斷兩方面入手，深入研究了視覺語言交互任務中的視覺推理問題。《視覺語言交互中的視覺推理研究》共五章：第1章主要介紹了計算機視覺與自然語言處理交叉領域中交互類問題的研究背景，并分別從單輪交互、多輪交互、知識偏差三個角度選取了指稱語理解、視覺對話、視覺問答三個經典任務展開討論。第2章主要介紹了單輪交互情形的代表性視覺推理任務，即指稱語理解問題，提出了變分背景框架，根據視覺圖像和指稱語文本的聯系及視覺物體之間的關系提取語義背景信息，并根據背景信息對指稱語進行定位。第3章介紹了多輪交互情形的代表性視覺推理任務，即視覺對話問題，提出了遞歸注意力機制，通過視覺指代消解的思想對圖像、對話和問題之間的聯系進行建模，優化視覺表示。第4章介紹了知識偏差情形的代表性視覺推理任務，即視覺問答問題，基于因果推理提出了反事實視覺問答框架，在訓練環境和測試環境的答案分布不一致情況下，通過因果效應的視角提取并去除語言偏差。第5章對本書進行了總結，并對未來研究方向進行了展望。
視覺語言交互中的視覺推理研究 目錄
第1章 引言
1.1 研究背景 1
1.2 研究現狀 5
1.2.1 指稱語理解 6
1.2.2 視覺對話 8
1.2.3 視覺問答 11
1.3 研究內容與貢獻 14
1.4 組織結構 17
第2章 單輪交互情形下的指稱語理解
2.1 研究概述 20
2.2 相關工作 23
2.3 變分背景框架 26
2.3.1 問題表述 26
2.3.2 指稱語理解 29
2.3.3 指稱語生成 31
2.3.4 模型實現 32
2.4 實驗結果 40
2.4.1 實驗設置 40
2.4.2 指稱語理解實驗結果 44
2.4.3 指稱語生成實驗結果 55
2.5 小結 57
第3章 多輪交互情形下的視覺對話
3.1 研究概述 60
3.2 相關工作 64
3.3 預備知識 66
3.4 遞歸視覺注意力模型 66
3.4.1 判別模塊 68
3.4.2 匹配模塊 69
3.4.3 注意力模塊 72
3.5 其他模塊 73
3.5.1 語言特征表示 73
3.5.2 視覺特征表示 75
3.5.3 特征優化與融合 76
3.5.4 非線性映射 78
3.5.5 Gumbel離散采樣 79
3.6 實驗結果 80
3.6.1 實驗設置 80
3.6.2 實現細節 82
3.6.3 對比方法 82
3.6.4 實驗結果分析 85
3.7 小結 93
第4章 知識偏差情形下的視覺問答
4.1 研究概述 96
4.2 相關工作 101
4.3 預備知識 104
4.3.1 因果圖 105
4.3.2 反事實表示 105
4.3.3 因果效應 106
4.4 基于簡化因果圖的反事實視覺問答 107
4.4.1 反事實視覺問答框架 108
4.4.2 技術實現 110
4.5 基于完全因果圖的反事實視覺問答 115
4.5.1 反事實視覺問答框架 115
4.5.2 技術實現 116
4.6 實現細節 119
4.7 實驗結果 120
4.7.1 實驗設置 120
4.7.2 簡化因果圖實驗結果 122
4.7.3 完全因果圖實驗結果 134
4.8 小結 137
第5章 總結與展望
5.1 創新總結 139
5.2 未來工作展望 141
5.2.1 視覺推理任務 142
5.2.2 知識建模 142
5.2.3 知識偏差 143
1.1 研究背景 1
1.2 研究現狀 5
1.2.1 指稱語理解 6
1.2.2 視覺對話 8
1.2.3 視覺問答 11
1.3 研究內容與貢獻 14
1.4 組織結構 17
第2章 單輪交互情形下的指稱語理解
2.1 研究概述 20
2.2 相關工作 23
2.3 變分背景框架 26
2.3.1 問題表述 26
2.3.2 指稱語理解 29
2.3.3 指稱語生成 31
2.3.4 模型實現 32
2.4 實驗結果 40
2.4.1 實驗設置 40
2.4.2 指稱語理解實驗結果 44
2.4.3 指稱語生成實驗結果 55
2.5 小結 57
第3章 多輪交互情形下的視覺對話
3.1 研究概述 60
3.2 相關工作 64
3.3 預備知識 66
3.4 遞歸視覺注意力模型 66
3.4.1 判別模塊 68
3.4.2 匹配模塊 69
3.4.3 注意力模塊 72
3.5 其他模塊 73
3.5.1 語言特征表示 73
3.5.2 視覺特征表示 75
3.5.3 特征優化與融合 76
3.5.4 非線性映射 78
3.5.5 Gumbel離散采樣 79
3.6 實驗結果 80
3.6.1 實驗設置 80
3.6.2 實現細節 82
3.6.3 對比方法 82
3.6.4 實驗結果分析 85
3.7 小結 93
第4章 知識偏差情形下的視覺問答
4.1 研究概述 96
4.2 相關工作 101
4.3 預備知識 104
4.3.1 因果圖 105
4.3.2 反事實表示 105
4.3.3 因果效應 106
4.4 基于簡化因果圖的反事實視覺問答 107
4.4.1 反事實視覺問答框架 108
4.4.2 技術實現 110
4.5 基于完全因果圖的反事實視覺問答 115
4.5.1 反事實視覺問答框架 115
4.5.2 技術實現 116
4.6 實現細節 119
4.7 實驗結果 120
4.7.1 實驗設置 120
4.7.2 簡化因果圖實驗結果 122
4.7.3 完全因果圖實驗結果 134
4.8 小結 137
第5章 總結與展望
5.1 創新總結 139
5.2 未來工作展望 141
5.2.1 視覺推理任務 142
5.2.2 知識建模 142
5.2.3 知識偏差 143
展開全部
視覺語言交互中的視覺推理研究 作者簡介
牛玉磊，美國哥倫比亞大學博士后，2015年和2020年于中國人民大學分別獲得學士與博士學位。研究方向包括計算機視覺、機器學習、因果推理、多模態學習等，在國際著名學術會議和期刊上發表論文20余篇。擔任BMVC 2022領域主席，AAAI 2023、IJCAI 2021高級程序委員會委員等學術職務。獲2021年度CCF優秀博士學位論文獎、CVPR 2019視覺對話挑戰賽冠軍，被評為NeurIPS 2022、ICLR 2021、ICCV 2021的杰出審稿人。
書友推薦
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
隨園食單
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
月亮虎
- >
我與地壇
- >
【精裝繪本】畫給孩子的中國神話
- >
史學評論
- >
回憶愛瑪儂
本類暢銷
