中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
基于深度學習的機器閱讀理解 版權信息
- ISBN：9787030701008
- 條形碼：9787030701008 ; 978-7-03-070100-8
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
基于深度學習的機器閱讀理解 內容簡介
機器閱讀理解的基本任務、歷史沿革、技術方法、典型應用、新型趨勢、開放問題等（具體見下面的目錄）。此外，為便于初學者閱讀和理解本書內容，我們在正文第二章介紹了深度學習基礎，并在附錄中介紹了（傳統）機器學習基礎內容、文本分析基礎，以及2015年前40來年中出現的各種機器閱讀理解研究。
基于深度學習的機器閱讀理解 目錄
目錄
前言
第1章 概論 1
1.1 任務簡述 1
1.2 發展歷程 3
1.2.1 早期 3
1.2.2 近期 4
1.2.3當代 5
1.3 任務定義及分類 6
1.3.1 形式化定義 6
1.3.2 任務分類 6
1.3.3 相關任務辨析 11
1.4 模型評測 12
1.4.1 評價指標 12
1.4.2 代表性數據集 16
1.5 典型應用 25
1.5.1 搜索引擎增強 25
1.5.2 智能助理 27
1.6 本章小結 27
第2章 深度學習基礎 28
2.1 多層感知機 28
2.1.1 感知機 28
2.1.2 多層感知機 34
2.1.3 分析總結 39
2.2 表示學習初探 44
2.2.1 文本的稀疏表示 44
2.2.2 文本的分布式表示 45
2.2.3 分析總結 50
2.3 卷積神經網絡 51
2.4 循環神經網絡及其改進 53
2.5 注意力機制 57
2.6 再論表示學習 59
2.6.1 CoVe 59
2.6.2 ELMo 60
2.6.3 GPT 62
2.6.4 BERT 64
2.7 本章小結 66
第3章 基本框架 67
3.1 基本框架 67
3.2 嵌入編碼 69
3.2.1 傳統編碼方法 70
3.2.2 預訓練的基于上下文的編碼方法 70
3.2.3 多粒度編碼 72
3.3 特征提取 73
3.3.1 基于循環神經網絡的特征提取 73
3.3.2 基于卷積神經網絡的特征提取 75
3.3.3 基于多頭自注意力的特征提取 76
3.4 文章-問題交互 76
3.4.1 單向注意力 76
3.4.2 雙向注意力 77
3.4.3 一次交互 79
3.4.4 多次交互 79
3.5 答案預測 81
3.5.1 答案在文章 中 81
3.5.2 答案不在文章 中 83
3.6 其他方法 84
3.6.1 強化學習 84
3.6.2 答案排序 85
3.6.3 句子選擇 85
3.7 本章小結 85
第4章 代表性模型 86
4.1 Match-LSTM：基于指針網絡的邊界模型 86
4.2 R-NET：自注意力門控機制 88
4.3 Bi-DAF：雙向注意力流 90
4.4 QANet：基于Transformer結構的閱讀理解模型 92
4.5 R.M-Reader 94
4.6 S-Net 97
4.7 基于雙向自注意力的預訓練語言模型 100
4.8 代表性方法比較分析 100
4.9 本章小結 101
第5章 新興趨勢 103
5.1 引入知識的機器閱讀理解 103
5.1.1 任務定義 103
5.1.2 代表數據集 103
5.1.3 存在的挑戰 104
5.1.4 現有方法 104
5.2 帶有不能回答問題的機器閱讀理解 105
5.2.1 任務定義 105
5.2.2 代表數據集 106
5.2.3 存在的挑戰 106
5.2.4 現有方法 106
5.3 多文檔機器閱讀理解 107
5.3.1 任務定義 107
5.3.2 代表數據集 108
5.3.3 存在的挑戰 108
5.3.4 現有方法 109
5.4 對話式機器閱讀理解 111
5.4.1 任務定義 111
5.4.2 代表數據集 111
5.4.3 存在的挑戰 112
5.4.4 現有方法 113
5.5 跨語言機器閱讀理解 114
5.5.1 任務定義 114
5.5.2 代表數據集 114
5.5.3 存在的挑戰 115
5.5.4 現有方法 116
5.6 推理機器閱讀理解 116
5.6.1 任務定義 116
5.6.2 代表數據集 117
5.6.3 存在的挑戰 118
5.6.4 現有方法 119
5.7 本章小結 119
第6章 開放性問題 120
6.1 開放性問題 120
6.1.1 相關文章的快速檢索獲取 120
6.1.2 機器閱讀理解系統的魯棒性 121
6.1.3 缺乏對外部知識的運用 121
6.1.4 缺乏推理的能力 122
6.1.5 缺乏可解釋性 122
6.2 全書總結 122
附錄一 機器學習基礎概念 124
附錄二 文本分析基礎 132
附錄三 傳統機器閱讀理解概述 139
附錄四 簡稱一覽表 147
附錄五 可用代碼資源 149
參考文獻 150
前言
第1章 概論 1
1.1 任務簡述 1
1.2 發展歷程 3
1.2.1 早期 3
1.2.2 近期 4
1.2.3當代 5
1.3 任務定義及分類 6
1.3.1 形式化定義 6
1.3.2 任務分類 6
1.3.3 相關任務辨析 11
1.4 模型評測 12
1.4.1 評價指標 12
1.4.2 代表性數據集 16
1.5 典型應用 25
1.5.1 搜索引擎增強 25
1.5.2 智能助理 27
1.6 本章小結 27
第2章 深度學習基礎 28
2.1 多層感知機 28
2.1.1 感知機 28
2.1.2 多層感知機 34
2.1.3 分析總結 39
2.2 表示學習初探 44
2.2.1 文本的稀疏表示 44
2.2.2 文本的分布式表示 45
2.2.3 分析總結 50
2.3 卷積神經網絡 51
2.4 循環神經網絡及其改進 53
2.5 注意力機制 57
2.6 再論表示學習 59
2.6.1 CoVe 59
2.6.2 ELMo 60
2.6.3 GPT 62
2.6.4 BERT 64
2.7 本章小結 66
第3章 基本框架 67
3.1 基本框架 67
3.2 嵌入編碼 69
3.2.1 傳統編碼方法 70
3.2.2 預訓練的基于上下文的編碼方法 70
3.2.3 多粒度編碼 72
3.3 特征提取 73
3.3.1 基于循環神經網絡的特征提取 73
3.3.2 基于卷積神經網絡的特征提取 75
3.3.3 基于多頭自注意力的特征提取 76
3.4 文章-問題交互 76
3.4.1 單向注意力 76
3.4.2 雙向注意力 77
3.4.3 一次交互 79
3.4.4 多次交互 79
3.5 答案預測 81
3.5.1 答案在文章 中 81
3.5.2 答案不在文章 中 83
3.6 其他方法 84
3.6.1 強化學習 84
3.6.2 答案排序 85
3.6.3 句子選擇 85
3.7 本章小結 85
第4章 代表性模型 86
4.1 Match-LSTM：基于指針網絡的邊界模型 86
4.2 R-NET：自注意力門控機制 88
4.3 Bi-DAF：雙向注意力流 90
4.4 QANet：基于Transformer結構的閱讀理解模型 92
4.5 R.M-Reader 94
4.6 S-Net 97
4.7 基于雙向自注意力的預訓練語言模型 100
4.8 代表性方法比較分析 100
4.9 本章小結 101
第5章 新興趨勢 103
5.1 引入知識的機器閱讀理解 103
5.1.1 任務定義 103
5.1.2 代表數據集 103
5.1.3 存在的挑戰 104
5.1.4 現有方法 104
5.2 帶有不能回答問題的機器閱讀理解 105
5.2.1 任務定義 105
5.2.2 代表數據集 106
5.2.3 存在的挑戰 106
5.2.4 現有方法 106
5.3 多文檔機器閱讀理解 107
5.3.1 任務定義 107
5.3.2 代表數據集 108
5.3.3 存在的挑戰 108
5.3.4 現有方法 109
5.4 對話式機器閱讀理解 111
5.4.1 任務定義 111
5.4.2 代表數據集 111
5.4.3 存在的挑戰 112
5.4.4 現有方法 113
5.5 跨語言機器閱讀理解 114
5.5.1 任務定義 114
5.5.2 代表數據集 114
5.5.3 存在的挑戰 115
5.5.4 現有方法 116
5.6 推理機器閱讀理解 116
5.6.1 任務定義 116
5.6.2 代表數據集 117
5.6.3 存在的挑戰 118
5.6.4 現有方法 119
5.7 本章小結 119
第6章 開放性問題 120
6.1 開放性問題 120
6.1.1 相關文章的快速檢索獲取 120
6.1.2 機器閱讀理解系統的魯棒性 121
6.1.3 缺乏對外部知識的運用 121
6.1.4 缺乏推理的能力 122
6.1.5 缺乏可解釋性 122
6.2 全書總結 122
附錄一 機器學習基礎概念 124
附錄二 文本分析基礎 132
附錄三 傳統機器閱讀理解概述 139
附錄四 簡稱一覽表 147
附錄五 可用代碼資源 149
參考文獻 150
展開全部
基于深度學習的機器閱讀理解 節選
第1章 概論 1.1 任務簡述 提起“閱讀理解”，相信讀者并不陌生——不論語文還是英語考試中，它都是常見題型——通過填空、選擇、問答等形式，來測試學生閱讀和理解一定語言的文字資料的能力。機器閱讀理解（Machine Reading Comprehension， MRC）與語言考試中的閱讀理解題類似，只不過測試對象從人變成了機器，讓機器根據給定的文本，回答與文本內容相關的問題，以此衡量機器理解自然語言（文本）的能力。換言之，機器閱讀理解任務的輸入是問題和文本，問題通常與文本內容相關；而輸出是機器預測的答案。圖1.1給出了機器閱讀理解任務的直觀表示。 圖1.1 機器閱讀理解任務示意 人們研究機器閱讀理解任務已經有四十多年歷史了，但在很長一段時間里，主要聚焦于基于規則或基于傳統機器學習的方法，模型訓練、方法驗證等環節使用的數據樣本量非常少，且相對簡單，導致相關技術成果的實用性不強。這種局面在2015年左右發生了巨大改觀，一般認為，這主要歸功于以下兩點： 一是深度學習技術在機器閱讀理解任務上的應用，催生了基于深度學習的機器閱讀理解（或稱神經機器閱讀理解）模型，這類模型更擅長于挖掘文本的上下文語義信息，并具有更好的泛化能力，其性能相對于傳統模型有了顯著提升，接近、甚至在部分測試集上超過了人類水平。 二是在此期間一系列大規模機器閱讀理解數據集的構建和發布，如CNN&Daily Mail[1]、SQuAD[2]、MSMARCO[3]等。這些數據集不僅使得訓練參數量巨大的深度神經網絡成為可能，也使得模型測試和驗證更加充分。 也因此，基于深度學習的機器閱讀理解技術在近幾年里受到越來越多關注，已成為學術界和工業界的熱點、甚至焦點，其熱度在相關競賽中體現得尤其淋漓盡致：自2016年斯坦福大學公布了 SQuAD數據集并發起了在此數據集上的競賽之后，各大公司、高校和科研機構爭先恐后地參賽和刷新榜單，各種模型層出不窮，機器閱讀理解領域的“軍備競賽”拉開帷幕。隨后，微軟公布了MS MARCO 數據集，相比于SQuAD，MS MARCO數據集中的問題為真實的用戶搜索數據（即問題由真人提出），答案是人工生成的高質量回答，文檔也由給定一篇文章變為了給定10篇，這種設置與實際應用場景更加貼合，也對機器的閱讀理解能力提出了更高要求。在中文領域，百度公司2017年公布了大規模中文機器閱讀理解數據集 DuReader[4]，并針對此數據集成功舉辦兩屆機器閱讀理解技術競賽，一定程度上促進了中文機器閱讀理解的發展。值得注意的是，微軟亞洲研究院、阿里巴巴等提出的模型先后在SQuAD數據集上超越了人類平均水平，這標志著機器閱讀理解技術取得了突破性進展；之后提出的BERT[5]等基于上下文的文本表示技術，通過使用大規模語料進行預訓練，進一步顯著提升了機器閱讀理解模型的表現，無疑為本領域發展再添了一把大火。 機器閱讀理解如此備受關注，無疑與其具有較高的應用價值和較好的應用前景有極大關系。凡是需要依據一定文本資料來回答問題的應用場景，比如在線客服回答客戶有關本公司或產品服務條款的問題、在線法律助理根據法律文書回答求助者的問題、等等，都可以引入機器閱讀理解技術來加以支撐。此外，正如很多科幻片里演繹的那樣，由于問答是人們交互過程中*重要的形式之一，所以閱讀理解文字或語音資料、然后回答提問的能力，往往也是我們期待的、類人機器人所應具備的能力之一。在后面1.5節，我們還將進一步討論機器閱讀理解的典型應用。 機器閱讀理解如此備受關注，也是由于該領域目前并不成熟、還有很大的研究空間。雖然前面已提到，在SQuAD（特別是SQuADl.O）等相對簡單的特定數據集上，機器閱讀理解的精度水平已經超越了人類的平均水平；但在更多數據集上，現有模型的反應速度和精度水平與人類相比，還相去甚遠。特別是，由于自然語言具有表達的隨意性、靈活性，語法規則的復雜性、多變性，以及與時俱進的演化性，實際應用中往往存在新詞新句、語言混用、連續提問、多重指代、省略成分等很多挑戰性的語言現象，需要本領域研究人員逐一去研究解決。 1.2 發展歷程 對機器閱讀理解的相關研究，*早可追溯到20世紀70年代，迄今已經過近50年的發展，其歷程大致可以劃分為略有重疊的三個階段，分別稱為“早期”、“近期”和“當代”。這種劃分方式受到陳丹琦（Danqi Chen）女士的博士論文中相關內容的啟發[8]，那里她稱三個階段分別為“早期系統（Early Systems）”、“基于機器學習的方法（Machine Learning Approaches）”和“復蘇：深度學習時代（A Resurgence: The Deep Learning Era）”。 本節接下來分階段概述機器閱讀理解技術的發展歷程，有關每個階段中涌現的方法、技術和數據集的更詳細內容請參考本書附錄3。 1.2.1 早期 這一階段大致從20世紀70年代持續到20世紀末。期間，機器閱讀理解任務被引入，并逐漸引起關注，但相關研究主要針對特定領域的小數據集，所采用的方法則主要基于規則或基于模式匹配。 早期工作中*有開創性和代表性的要數耶魯大學人工智能團隊Lehnert等人開發的故事閱讀理解系統QUALM[9]。該系統將故事和問題表示為一定的語義結構，然后通過動態化的語義結構匹配來實現問題回答。在研究過程中，Lehnert 和她的同事發現，對故事乃至問題的理解和表示往往需要用到很多外部知識，為了引入這些外部知識，他們后來又設計開發了 BORIS系統[10]。但這些早期系統在方法驗證上很不充分，往往只針對少量故事或故事書籍進行實驗，并且模型中用到了很多人工制定的規則或外部知識，這大大限制了方法的普適性，相關系統更多是實驗室的概念演示驗證原型，距離實際應用還十分遙遠。 之后從20世紀80年代中后期直到90年代末，有關閱讀理解的研究更多集中在心理學領域，而計算模型方面的研究則日益稀少。造成這種局面的一個重要原因是，當時沒有形成科學統一的評價方法。 模型評價離不開指標和數據集，而如英語閱讀試題一類的、用于測試人的閱讀理解能力的數據資料早已大量存在，且具有很高的質量（往往為每個問題都提供了準確的參考答案）。這啟發了Hirschman[11]等人在1999年左右發表的里程碑工作：他們利用現成的英語閱讀理解語料構建了一個高質量數據集，一般稱為“Remedia數據集”，并設計實現了一個模塊化的自動機器閱讀理解系統Deep Read。盡管該系統只使用了簡單的基于規則的方法，但在Remedia數據集上的測試精度超過了30%。 Hirschman等人的工作，特別是Remedia數據集引起了本領域的髙度關注，也激發了2000年左右一系列的后續研究。特別是，2000年首屆北美計算語言學分會的年會（North American Chapter of the Association for Computational Linguistics， NAACL）上，設置了一個名為“用于評測計算機自然語言理解系統的閱讀理解測試”的專題研討，其中 Riloff和Thelen 的 Quarc （Question Answering for Reading Comprehension）系統，以及Brown大學Chamiak等人的模型[12]，均采用基于規則的機器閱讀理解方法，并將Remedia數據集上的測試精度提升至40%左右。 總之，這個階段中機器閱讀理解任務被引入，并提出了一些基于規則（或基于模式匹配）的算法模型，但所用數據集通常較小、測試精度也較低，整體上屬于初步探索與概念演示驗證階段，離實用需要還有很大距離。 1.2.2 近期 這一階段在時間跨度上大致從2000年持續到2015年，技術特點包括：一是仍然主要針對小數據集；二是決策樹等傳統機器學習模型逐漸被應用到各種閱讀理解系統中，使得這些系統具備了更好的領域適應能力。 *早報道的基于機器學習的閱讀理解模型，同樣發表在上面提到的首屆 NAACL的“用于評測計算機自然語言理解系統的閱讀理解測試”專題研討中，其基本思路是，將故事中的句子視為候選答案，然后將答案預測任務轉化為對故事中每個句子與問題構成的問題-句子對的二分類任務。不過，該模型在Remedia 數據集上的*佳測試精度只有14%，遠低于同年發表的基于規則的方法，難言是一次成功的嘗試。但所提出的、將答案預測轉化為對問題-句子對進行分類的思路，卻十分巧妙，也被后續工作長期沿用。 2000年晚些時候召開的SIGDAT和EMNLP聯合會議上，新加坡防衛科學實驗室（DSO National Laboratories）的Ng等人報道了他們研發的基于機器學習的故事閱讀理解系統 AQUAREAS （Automated QUestion Answering upon REAding Stories）[13]。該系統沿用了上述分類思想，通過引入更合適的分類特征，在Remedia 數據集上取得了將近40%的精度，已經達到了同期基于規則方法的水平；而其所具備的人工參與更少、更容易應用到新領域的優勢，則是基于規則的方法很難擁有的。 2000年以后，機器閱讀理解相關研究又一度相對沉寂，其間零星發表的研究成果也不再完全限于英語語料，而是拓展到中文等其他語言，關注點主要集中在兩方面：一是機器閱讀理解數據集構造。除了 CBC4Kids[14]、MCTest[15]和PROCESSBANK[16]等新的英語數據集，還涌現出中英雙語數據集BRCC （Bilingual Reading Comprehension Corpus）[17]，以及中文數據集 CRCC（Chinese Reading Comprehension Corpus）[18]，等等。二是閱讀理解方法，特別是基于傳統機器學習模型的閱讀理解方法研究。這期間的模型基本上仍然沿用問題-句子對分類的思路來預測答案，大多都使用了*大間隔（max-margin）學習框架下的分類器，如邏輯回歸、支持向量機等，并嘗試引入了更多特征，特別是結構特征。針對Remedia 數據集的測試精度在2008年左右上升到了43%以上[19]。但此后的研究，就很少再使用Remedia這一早期數據集了。 總之，本發展階段的特點在于：一是更多數據集的出現；二是機器學習技術的引入，這使得閱讀理解技術在實用性、領域適應性等方面都取得了較為明顯的進步。但是，這些新引入的數據集大多僅包含數百個問題、在規模上并不大，還不能支持包含大量參數的復雜模型訓練，也不能充分驗證模型算法的精度水平。而且，所采用的主要是邏輯回歸、支持向量機等基于*大間隔學習框架等傳統機器學習技術，需要大量人工特征工程，甚至需要與規則相結合，這又從客觀上制約了這些方法的跨領域遷移能力。 1.2.3 當代 這一階段大致從2015年開始，一直持續到今天，而其結束時間尚難預測。開創性事件有兩項：一是2015年Hermann等人利用CNN（美國有線電視新聞網）和 Daily Mail （每日郵報）構建了**個大規模閱讀理解數據集，并提出了首個基于深度學習的閱讀理解模型AttentiVeReader[1]、取得了明顯優于傳統模型的實驗效果。二是2016年斯坦福大學發布了一個包含的問題數量為10萬+規模的閱讀理解評測數據集 SQuAD（Stanford Question Answer Dataset）[2]。 我們將在后續章節中詳細介紹這些數據集和模型。這里想強調的是，正是這些開創性工作，引發了學術界和工業界對基于深度學習的閱讀理解理論和技術的研究熱潮，開啟了新的階段。 在本階段已經過去的五年中，展現出了一些明顯不同于以往兩個階段的特點，至少包括兩方面：首先，數據集的規模更大，問題數量
書友推薦
- >
小考拉的故事-套裝共3冊
- >
二體千字文
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
名家帶你讀魯迅:故事新編
- >
月亮虎
- >
月亮與六便士
- >
伯納黛特,你要去哪(2021新版)
- >
史學評論
本類暢銷
