掃一掃
關(guān)注中圖網(wǎng)
官方微博
本類五星書更多>
-
>
全國(guó)計(jì)算機(jī)等級(jí)考試最新真考題庫(kù)模擬考場(chǎng)及詳解·二級(jí)MSOffice高級(jí)應(yīng)用
-
>
決戰(zhàn)行測(cè)5000題(言語(yǔ)理解與表達(dá))
-
>
軟件性能測(cè)試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強(qiáng)教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
中圖價(jià):¥56.5
加入購(gòu)物車
工業(yè)級(jí)知識(shí)圖譜:方法與實(shí)踐 版權(quán)信息
- ISBN：9787121417474
- 條形碼：9787121417474 ; 978-7-121-41747-4
- 裝幀：一般膠版紙
- 冊(cè)數(shù)：暫無(wú)
- 重量：暫無(wú)
- 所屬分類：>
工業(yè)級(jí)知識(shí)圖譜:方法與實(shí)踐 本書特色
適讀人群 ：人工智能相關(guān)行業(yè)的管理者和研發(fā)人員、高等院校的計(jì)算機(jī)專業(yè)學(xué)生本書從工業(yè)問(wèn)題和工業(yè)應(yīng)用入手，應(yīng)用前沿技術(shù)方法，定義并解決面臨的技術(shù)問(wèn)題. 本書是知識(shí)圖譜大規(guī)模工業(yè)實(shí)踐的經(jīng)驗(yàn)總結(jié)，且包含了知識(shí)圖譜的前沿學(xué)術(shù)研究。 本書得到來(lái)未來(lái)科技（浙江）有限公司CEO墻輝（玄難）傾情作序。 阿里巴巴集團(tuán)副總裁、達(dá)摩院數(shù)據(jù)庫(kù)首席科學(xué)家，ACM杰出科學(xué)家李飛飛，新加坡國(guó)立大學(xué)終身教授，IEEE Fellow, ISCA Fellow 李海洲，阿里巴巴集團(tuán)副總裁、達(dá)摩院語(yǔ)言實(shí)驗(yàn)室首席科學(xué)家，ACM 杰出科學(xué)家 司羅，蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院院長(zhǎng)，國(guó)家杰出青年科學(xué)基金獲得者 張民，中國(guó)科學(xué)院自動(dòng)化研究所研究員, 中國(guó)科學(xué)院大學(xué)人工智能學(xué)院崗位教授趙軍，鼎力推薦！ 本書討論了知識(shí)圖譜的整體技術(shù)架構(gòu)及各個(gè)模塊的理論研究，即知識(shí)建模、知識(shí)獲取、知識(shí)融合、知識(shí)推理，同時(shí)探討了知識(shí)圖譜的前沿技術(shù)話題。 本書圍繞千億級(jí)商品知識(shí)圖譜這一真實(shí)工業(yè)實(shí)踐案例，針對(duì)各個(gè)模塊詳細(xì)闡述了系統(tǒng)中的算法細(xì)節(jié)、工程系統(tǒng)實(shí)現(xiàn)方法及相關(guān)的業(yè)務(wù)應(yīng)用。 本書介紹的成果獲得錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)一等獎(jiǎng)。 本書采用全彩印刷，提供良好閱讀體驗(yàn)。
工業(yè)級(jí)知識(shí)圖譜:方法與實(shí)踐 內(nèi)容簡(jiǎn)介
本書源于阿里巴巴千億級(jí)知識(shí)圖譜構(gòu)建與產(chǎn)業(yè)化應(yīng)用的工作總結(jié)，對(duì)知識(shí)圖譜理論和大規(guī)模工業(yè)實(shí)踐進(jìn)行了全面和深入的闡述。本書以阿里巴巴的實(shí)戰(zhàn)經(jīng)驗(yàn)為中心，以深厚的理論成果為支撐，詳細(xì)闡述了知識(shí)圖譜的方方面面。首先介紹工業(yè)場(chǎng)景下知識(shí)圖譜的現(xiàn)狀、存在的問(wèn)題和架構(gòu)設(shè)計(jì)；然后從知識(shí)表示、知識(shí)融合、知識(shí)獲取、知識(shí)推理、知識(shí)存儲(chǔ)和知識(shí)圖譜前沿方向等方面入手，介紹大規(guī)模商品知識(shí)圖譜的構(gòu)建方法；*后結(jié)合阿里巴巴的業(yè)務(wù)實(shí)踐，詳細(xì)介紹知識(shí)圖譜的產(chǎn)品設(shè)計(jì)、技術(shù)實(shí)現(xiàn)和業(yè)務(wù)應(yīng)用細(xì)節(jié)。通過(guò)閱讀本書，讀者不僅可以從零開(kāi)始認(rèn)識(shí)知識(shí)圖譜，了解知識(shí)圖譜技術(shù)方法和前沿技術(shù)方向，而且可以熟悉知識(shí)圖譜工業(yè)實(shí)踐的實(shí)現(xiàn)路徑，清楚知識(shí)圖譜的應(yīng)用方向和方法。本書介紹的成果獲得錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)一等獎(jiǎng)。 本書在知識(shí)圖譜的廣度和深度上兼具極強(qiáng)的參考性，適合人工智能相關(guān)行業(yè)的管理者和研發(fā)人員、高等院校的計(jì)算機(jī)專業(yè)學(xué)生閱讀。
工業(yè)級(jí)知識(shí)圖譜:方法與實(shí)踐 目錄
目 錄
第1章 工業(yè)級(jí)知識(shí)圖譜概述 / 1
1.1 知識(shí)圖譜概述 / 2
1.1.1 通用知識(shí)圖譜 / 2
1.1.2 行業(yè)知識(shí)圖譜 / 3
1.2 工業(yè)級(jí)知識(shí)圖譜實(shí)戰(zhàn)原則 / 4
1.2.1 實(shí)踐中的典型問(wèn)題 / 4
1.2.2 實(shí)戰(zhàn)原則 / 4
1.3 阿里巴巴知識(shí)引擎技術(shù)架構(gòu) / 8
1.3.1 平臺(tái)產(chǎn)品：知識(shí)建模與管理 / 9
1.3.2 平臺(tái)產(chǎn)品：知識(shí)生產(chǎn) / 11
1.3.3 業(yè)務(wù)、平臺(tái)產(chǎn)品：知識(shí)服務(wù) / 16
1.4 本章小結(jié) / 19
第2章 商品知識(shí)的表示和建模 / 20
2.1 知識(shí)表示簡(jiǎn)介 / 21
2.1.1 基于符號(hào)邏輯的知識(shí)表示方法 / 21
2.1.2 面向互聯(lián)網(wǎng)的知識(shí)表示方法 / 23
2.1.3 基于連續(xù)向量的知識(shí)表示 / 25
2.2 行業(yè)知識(shí)建模 / 27
2.2.1 基于專家的知識(shí)建模 / 27
2.2.2 基于機(jī)器學(xué)習(xí)的知識(shí)建模 / 29
2.3 商品知識(shí)建模實(shí)踐 / 32
2.3.1 術(shù)語(yǔ)抽取 / 33
2.3.2 商品概念及上下位關(guān)系生成 / 36
2.4 構(gòu)建商品知識(shí)體系 / 37
2.4.1 通用域知識(shí)圖譜 / 37
2.4.2 阿里商品域知識(shí)體系 / 39
2.5 商品知識(shí)建模應(yīng)用場(chǎng)景 / 48
2.5.1 服務(wù)國(guó)家和社會(huì)機(jī)構(gòu)應(yīng)用 / 48
2.5.2 零售業(yè)務(wù)應(yīng)用 / 49
2.6 小結(jié) / 50
2.6.1 知識(shí)建模技術(shù)的未來(lái)發(fā)展 / 50
2.6.2 知識(shí)體系設(shè)計(jì)的未來(lái)發(fā)展 / 51
第3章 商品知識(shí)融合 / 53
3.1 知識(shí)融合概述 / 54
3.1.1 知識(shí)融合的主要難點(diǎn) / 54
3.1.2 知識(shí)融合的基本步驟 / 55
3.2 本體對(duì)齊 / 57
3.2.1 基于語(yǔ)言學(xué)特征的方法 / 58
3.2.2 基于結(jié)構(gòu)特征的方法 / 61
3.2.3 商品知識(shí)圖譜本體對(duì)齊算法 / 63
3.3 實(shí)體對(duì)齊 / 70
3.3.1 實(shí)體對(duì)齊的流程 / 70
3.3.2 實(shí)體對(duì)齊的技術(shù)路線 / 71
3.3.3 商品知識(shí)圖譜實(shí)體對(duì)齊實(shí)踐 / 80
3.4 信息融合 / 91
3.4.1 無(wú)監(jiān)督的信息融合方法 / 92
3.4.2 有監(jiān)督和半監(jiān)督的信息融合方法 / 99
3.4.3 商品知識(shí)圖譜信息融合算法實(shí)踐 / 100
3.5 跨語(yǔ)言知識(shí)融合 / 103
3.5.1 跨語(yǔ)言知識(shí)融合的挑戰(zhàn) / 103
3.5.2 跨語(yǔ)言實(shí)體對(duì)齊的技術(shù)路線 / 104
3.5.3 基于規(guī)則的跨語(yǔ)言實(shí)體對(duì)齊方法 / 104
3.5.4 基于翻譯的跨語(yǔ)言實(shí)體對(duì)齊方法 / 105
3.5.5 基于表示學(xué)習(xí)的跨語(yǔ)言實(shí)體對(duì)齊方法 / 107
3.6 知識(shí)融合質(zhì)量評(píng)估體系 / 110
3.6.1 知識(shí)融合評(píng)估指標(biāo)介紹 / 110
3.6.2 離線融合效果評(píng)估 / 112
3.6.3 在線融合效果評(píng)估 / 117
3.7 本章小結(jié) / 119
第4章 商品知識(shí)獲取 / 120
4.1 知識(shí)獲取概述 / 121
4.1.1 知識(shí)獲取相關(guān)任務(wù) / 121
4.1.2 知識(shí)獲取相關(guān)測(cè)評(píng)會(huì)議 / 123
4.2 命名實(shí)體識(shí)別 / 125
4.2.1 命名實(shí)體識(shí)別概覽 / 125
4.2.2 標(biāo)注體系及常用數(shù)據(jù)集 / 126
4.2.3 基于規(guī)則的命名實(shí)體識(shí)別 / 128
4.2.4 基于統(tǒng)計(jì)模型的命名實(shí)體識(shí)別 / 128
4.2.5 基于神經(jīng)網(wǎng)絡(luò)的實(shí)體識(shí)別 / 130
4.3 實(shí)體鏈接 / 133
4.3.1 實(shí)體鏈接概述 / 133
4.3.2 候選實(shí)體生成 / 133
4.3.3 候選實(shí)體排序 / 135
4.3.4 端到端的實(shí)體鏈接方法 / 138
4.4 關(guān)系抽取 / 139
4.4.1 關(guān)系抽取概述 / 139
4.4.2 基于模板的關(guān)系抽取方法 / 140
4.4.3 基于監(jiān)督學(xué)習(xí)的關(guān)系抽取方法 / 140
4.4.4 基于半監(jiān)督學(xué)習(xí)的關(guān)系抽取方法 / 149
4.4.5 基于無(wú)監(jiān)督學(xué)習(xí)的關(guān)系抽取方法 / 154
4.5 槽填充與屬性補(bǔ)全 / 156
4.5.1 槽填充與屬性補(bǔ)全概述 / 156
4.5.2 基于模板的方法 / 158
4.5.3 基于關(guān)系分類的方法 / 160
4.6 面向半結(jié)構(gòu)化數(shù)據(jù)的知識(shí)獲取 / 160
4.6.1 百科類網(wǎng)站數(shù)據(jù)抽取 / 160
4.6.2 面向Web網(wǎng)頁(yè)的知識(shí)獲取 / 161
4.7 低資源條件下知識(shí)獲取 / 162
4.7.1 基于監(jiān)督學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)的方法 / 163
4.7.2 基于遷移學(xué)習(xí)的方法 / 163
4.7.3 基于元學(xué)習(xí)的方法 / 164
4.7.4 基于知識(shí)增強(qiáng)的方法 / 165
4.8 電商領(lǐng)域知識(shí)獲取實(shí)踐 / 166
4.8.1 電商知識(shí)獲取框架 / 166
4.8.2 面向場(chǎng)景導(dǎo)購(gòu)的知識(shí)獲取示例 / 169
4.8.3 低資源商品知識(shí)獲取示例 / 177
4.9 本章小結(jié) / 180
第5章 商品知識(shí)推理 / 182
5.1 知識(shí)推理概述 / 183
5.1.1 知識(shí)推理的作用 / 183
5.1.2 專家系統(tǒng)與知識(shí)推理 / 184
5.1.3 神經(jīng)網(wǎng)絡(luò)與知識(shí)推理 / 185
5.2 基于符號(hào)邏輯的知識(shí)推理 / 186
5.2.1 基于本體的知識(shí)推理方法 / 187
5.2.2 基于規(guī)則的知識(shí)推理方法 / 191
5.2.3 基于規(guī)則學(xué)習(xí)的知識(shí)圖譜推理 / 197
5.3 基于表示學(xué)習(xí)的知識(shí)推理 / 200
5.3.1 基于分布式表示的知識(shí)推理 / 200
5.3.2 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)推理 / 210
5.4 基于圖數(shù)據(jù)庫(kù)的商品知識(shí)推理引擎工程實(shí)踐 / 218
5.4.1 技術(shù)框架簡(jiǎn)介 / 219
5.4.2 與傳統(tǒng)規(guī)則推理引擎的對(duì)比 / 223
5.5 可解釋的商品知識(shí)圖譜推理應(yīng)用實(shí)踐 / 226
5.5.1 電商應(yīng)用背景 / 226
5.5.2 技術(shù)實(shí)踐方案 / 228
5.5.3 實(shí)驗(yàn)結(jié)果及案例分析 / 233
5.6 基于強(qiáng)化學(xué)習(xí)的商品規(guī)則學(xué)習(xí)與推理應(yīng)用實(shí)踐 / 236
5.6.1 電商應(yīng)用背景 / 236
5.6.2 技術(shù)實(shí)踐方案 / 238
5.6.3 實(shí)驗(yàn)結(jié)果及案例分析 / 240
5.7 本章小結(jié) / 241
第6章 知識(shí)圖譜的存儲(chǔ)、服務(wù)與質(zhì)量 / 243
6.1 知識(shí)圖譜的存儲(chǔ) / 244
6.1.1 數(shù)據(jù)模型 / 244
6.1.2 存儲(chǔ)系統(tǒng)選型 / 247
6.1.3 圖查詢語(yǔ)言 / 252
6.1.4 關(guān)鍵技術(shù)與選擇 / 254
6.2 知識(shí)圖譜的服務(wù) / 257
6.2.1 基于知識(shí)圖譜的搜索 / 258
6.2.2 基于知識(shí)圖譜的推薦 / 264
6.2.3 搜索推薦在業(yè)務(wù)智能中的應(yīng)用 / 274
6.2.4 基于知識(shí)圖譜的問(wèn)答系統(tǒng) / 278
6.3 知識(shí)圖譜質(zhì)量保障 / 281
6.3.1 質(zhì)量保障架構(gòu) / 281
6.3.2 測(cè)試原則與方法 / 282
6.4 本章小結(jié) / 284
第7章 大規(guī)模商品知識(shí)圖譜
預(yù)訓(xùn)練 / 285
7.1 知識(shí)預(yù)訓(xùn)練概述 / 286
7.1.1 預(yù)訓(xùn)練語(yǔ)言模型 / 286
7.1.2 知識(shí)圖譜中的結(jié)構(gòu)化上下文信息 / 288
7.1.3 基于知識(shí)增強(qiáng)的預(yù)訓(xùn)練模型 / 289
7.1.4 預(yù)訓(xùn)練知識(shí)圖譜模型與預(yù)訓(xùn)練語(yǔ)言模型的區(qū)別 / 293
7.2 商品知識(shí)圖譜靜態(tài)預(yù)訓(xùn)練模型 / 294
7.2.1 預(yù)訓(xùn)練知識(shí)圖譜查詢框架 / 294
7.2.2 預(yù)訓(xùn)練知識(shí)圖譜查詢模塊 / 295
7.2.3 預(yù)訓(xùn)練知識(shí)圖譜查詢服務(wù) / 296
7.2.4 在任務(wù)模塊中使用查詢服務(wù) / 297
7.3 商品知識(shí)圖譜動(dòng)態(tài)預(yù)訓(xùn)練模型 / 299
7.3.1 上下文模塊和整合模塊 / 299
7.3.2 預(yù)訓(xùn)練階段和微調(diào)階段 / 301
7.4 商品知識(shí)圖譜預(yù)訓(xùn)練實(shí)踐案例 / 303
7.4.1 基于知識(shí)圖譜預(yù)訓(xùn)練的商品分類 / 304
7.4.2 基于知識(shí)圖譜預(yù)訓(xùn)練的商品對(duì)齊 / 309
7.4.3 基于知識(shí)圖譜預(yù)訓(xùn)練的商品推薦 / 312
7.4.4 基于商品知識(shí)預(yù)訓(xùn)練的實(shí)體識(shí)別 / 316
7.4.5 基于商品知識(shí)預(yù)訓(xùn)練的關(guān)系抽取與屬性補(bǔ)齊 / 318
7.4.6 基于商品知識(shí)預(yù)訓(xùn)練的標(biāo)題生成 / 324
7.5 總結(jié)與展望 / 325
參考文獻(xiàn) / 326
展開(kāi)全部
工業(yè)級(jí)知識(shí)圖譜:方法與實(shí)踐 節(jié)選
7.1 知識(shí)預(yù)訓(xùn)練概述 知識(shí)圖譜雖然包含大量有價(jià)值的信息，但通常以三元組形式的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，機(jī)器無(wú)法直接讀取和使用。表示學(xué)習(xí)能將知識(shí)圖譜中的實(shí)體和關(guān)系映射到連續(xù)空間中用向量表示，并能利用向量的代數(shù)運(yùn)算，很好地建模知識(shí)圖譜中的結(jié)構(gòu)特征。向量表示被廣泛應(yīng)用在知識(shí)圖譜相關(guān)任務(wù)及NLP任務(wù)上，且都取得了不錯(cuò)的效果。針對(duì)不同的建模任務(wù)和目標(biāo)，相關(guān)工作已經(jīng)提出了不同的知識(shí)圖譜表示學(xué)習(xí)方法。隨著GPT、BERT、XLNET等預(yù)訓(xùn)練語(yǔ)言模型在多項(xiàng)自然語(yǔ)言處理領(lǐng)域任務(wù)上刷新了之前的*好效果，預(yù)訓(xùn)練受到了各界的廣泛關(guān)注。預(yù)訓(xùn)練在本質(zhì)上是表示學(xué)習(xí)的一種，其核心思想是“預(yù)訓(xùn)練和微調(diào)”方法，具體包括以下步驟：首先利用大量的自然語(yǔ)言數(shù)據(jù)訓(xùn)練一個(gè)語(yǔ)言模型，獲取文本中包含的通用知識(shí)信息；然后在下游任務(wù)微調(diào)階段，針對(duì)不同的下游任務(wù)，設(shè)計(jì)相應(yīng)的目標(biāo)函數(shù)，基于相對(duì)較少的監(jiān)督數(shù)據(jù)，便可得到不錯(cuò)的效果。 受預(yù)訓(xùn)練語(yǔ)言模型的啟發(fā)，我們將“預(yù)訓(xùn)練和微調(diào)”的思想應(yīng)用到了商品知識(shí)圖譜表示中。商品知識(shí)圖譜包含億級(jí)的節(jié)點(diǎn)信息，同時(shí)還包含豐富的結(jié)構(gòu)信息，這對(duì)如何高效地建模商品知識(shí)圖譜帶來(lái)了挑戰(zhàn)。大規(guī)模商品知識(shí)圖譜預(yù)訓(xùn)練包含三個(gè)主要方向：商品知識(shí)圖譜靜態(tài)預(yù)訓(xùn)練、商品知識(shí)圖譜動(dòng)態(tài)預(yù)訓(xùn)練和知識(shí)增強(qiáng)的預(yù)訓(xùn)練語(yǔ)言模型。其中，商品知識(shí)圖譜靜態(tài)預(yù)訓(xùn)練和商品知識(shí)圖譜動(dòng)態(tài)預(yù)訓(xùn)練是對(duì)商品知識(shí)圖譜自身信息的表示學(xué)習(xí)，而知識(shí)增強(qiáng)的預(yù)訓(xùn)練語(yǔ)言模型則側(cè)重于非結(jié)構(gòu)化文本場(chǎng)景。不同的預(yù)訓(xùn)練方法有不同的業(yè)務(wù)場(chǎng)景，細(xì)節(jié)將在后續(xù)章節(jié)詳細(xì)闡述。知識(shí)圖譜預(yù)訓(xùn)練對(duì)于具有億級(jí)節(jié)點(diǎn)的阿里巴巴商品知識(shí)圖譜極為重要，因?yàn)樗軌虮苊鈱?duì)龐大的商品知識(shí)圖譜重復(fù)訓(xùn)練，從而能夠更高效、快速地為下游任務(wù)場(chǎng)景提供服務(wù)。 7.1.1 預(yù)訓(xùn)練語(yǔ)言模型 隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)已廣泛用于解決自然語(yǔ)言處理（NLP）任務(wù)。深度學(xué)習(xí)模型能在一系列NLP任務(wù)里獲得很好的實(shí)驗(yàn)效果，但同時(shí)模型參數(shù)數(shù)量也在快速增長(zhǎng)，所以需要更大的數(shù)據(jù)集來(lái)防止過(guò)擬合。但是由于標(biāo)注數(shù)據(jù)成本極高，對(duì)于大多數(shù)自然語(yǔ)言處理任務(wù)來(lái)說(shuō)，構(gòu)建大規(guī)模的有標(biāo)簽數(shù)據(jù)集是一項(xiàng)巨大的挑戰(zhàn)，尤其是對(duì)于語(yǔ)法和語(yǔ)義等相關(guān)任務(wù)。 人類的語(yǔ)言是高度抽象且富含知識(shí)的，文本數(shù)據(jù)只是人類大腦對(duì)信息進(jìn)行處理后的一個(gè)載體，所以沉淀的文本數(shù)據(jù)本身具有大量有價(jià)值的信息。互聯(lián)網(wǎng)上沉淀了大規(guī)模的自然文本數(shù)據(jù)，基于這些海量文本，可以設(shè)計(jì)自監(jiān)督訓(xùn)練任務(wù)，學(xué)習(xí)好的表示模型，然后將這些表示模型用于其他任務(wù)。基于這種思想，*近幾年提出的預(yù)訓(xùn)練語(yǔ)言模型（Pre-trained Language Model）在許多自然語(yǔ)言處理任務(wù)中都被證明有效，并且能夠顯著提升相關(guān)任務(wù)的實(shí)驗(yàn)結(jié)果。 預(yù)訓(xùn)練語(yǔ)言模型可以學(xué)習(xí)通用的語(yǔ)言表示，捕捉語(yǔ)言中內(nèi)含的結(jié)構(gòu)知識(shí)，特別是針對(duì)下游任務(wù)標(biāo)注數(shù)據(jù)量少的低資源場(chǎng)景，采用“預(yù)訓(xùn)練+微調(diào)”的模式，能夠顯著提升效果。預(yù)訓(xùn)練語(yǔ)言模型的輸入通常是一個(gè)文本序列片段，神經(jīng)編碼器會(huì)編碼輸入序列，針對(duì)每個(gè)輸入單元，會(huì)編碼得到對(duì)應(yīng)的向量表示。區(qū)別于傳統(tǒng)Word2Vec詞向量，預(yù)訓(xùn)練得到的向量表示是上下文相關(guān)的，因?yàn)橄蛄渴蔷幋a器根據(jù)輸入動(dòng)態(tài)計(jì)算得到的，所以能夠捕捉上下文語(yǔ)義信息。相對(duì)于傳統(tǒng)詞向量的靜態(tài)性，預(yù)訓(xùn)練得到的向量表示具有一定的多義詞表達(dá)能力。至于更高語(yǔ)義級(jí)別的文本表示，如句子表示、文檔表示等，都是當(dāng)前前沿研究的內(nèi)容。 McCann等人利用機(jī)器翻譯（Machine Translation，MT）任務(wù)從注意序列到序列模型預(yù)訓(xùn)練了一個(gè)深度LSTM編碼器，并通過(guò)預(yù)訓(xùn)練編碼器輸出的上下文向量（Context Vectors，CoVe）可以提高多種常見(jiàn)自然語(yǔ)言處理任務(wù)的性能。Peters等人采用雙向語(yǔ)言模型（Bidirectional Language Model，BiLM）預(yù)訓(xùn)練的兩層LSTM編碼器，包括前向語(yǔ)言模型和后向語(yǔ)言模型。而通過(guò)預(yù)訓(xùn)練的BiLM輸出的上下文表示，ELMo模型在學(xué)得來(lái)自語(yǔ)言模型的向量表示后，在自然語(yǔ)言處理任務(wù)領(lǐng)域發(fā)揮了巨大的作用。 但是，這些預(yù)訓(xùn)練語(yǔ)言模型通常用作特征提取器來(lái)生成上下文詞向量，當(dāng)這些詞向量被用到下游任務(wù)的主要模型中時(shí)是固定的，而模型中的其他參數(shù)仍需要從頭開(kāi)始訓(xùn)練。Ramachandran等人發(fā)現(xiàn)，可以通過(guò)無(wú)監(jiān)督的預(yù)訓(xùn)練顯著改善Seq2Seq模型效果。編碼器和解碼器的權(quán)重都使用兩種語(yǔ)言模型的預(yù)訓(xùn)練權(quán)重初始化，然后使用標(biāo)記的數(shù)據(jù)微調(diào)。ULMFiT模型嘗試將微調(diào)用于文本分類（Text Classification，TC）的預(yù)訓(xùn)練語(yǔ)言模型，并在六種廣泛使用的文本分類數(shù)據(jù)集上取得了更好的效果。 *近一段時(shí)間，深層預(yù)訓(xùn)練語(yǔ)言模型在學(xué)習(xí)通用語(yǔ)言表示形式方面顯示出了強(qiáng)大的能力。例如，基于生成式預(yù)訓(xùn)練模型的OpenAI GPT和基于Transformer的雙向編碼器的BERT 模型，以及越來(lái)越多的自監(jiān)督預(yù)訓(xùn)練語(yǔ)言模型能夠從大規(guī)模文本語(yǔ)料庫(kù)中獲取更多知識(shí)，在大量自然語(yǔ)言處理任務(wù)中獲得了成功。 以BERT模型為例，預(yù)訓(xùn)練語(yǔ)言模型首先在大型數(shù)據(jù)集上根據(jù)一些無(wú)監(jiān)督任務(wù)進(jìn)行訓(xùn)練，包括下一個(gè)語(yǔ)句預(yù)測(cè)任務(wù)（Next Sentence Prediction，NSP）和掩碼語(yǔ)言模型任務(wù)（Masked Language Model），這部分被稱為預(yù)訓(xùn)練。接著在微調(diào)階段，根據(jù)后續(xù)下游任務(wù)，例如文本分類、詞性標(biāo)注和問(wèn)答系統(tǒng)等，對(duì)基于預(yù)訓(xùn)練的語(yǔ)言模型進(jìn)行微調(diào)，使得BERT模型無(wú)須調(diào)整結(jié)構(gòu)，只調(diào)整輸入/輸出數(shù)據(jù)和訓(xùn)練部分的參數(shù)，就可以在不同的任務(wù)上取得很好的效果。圖7??1（a）展示了BERT模型在預(yù)訓(xùn)練階段的結(jié)構(gòu)，圖7-1（b）展示了在多個(gè)不同數(shù)據(jù)集和任務(wù)上進(jìn)行微調(diào)的結(jié)構(gòu)示意圖。BERT模型具有很好的兼容性、擴(kuò)展性，并在多種自然語(yǔ)言處理下游任務(wù)上達(dá)到**的實(shí)驗(yàn)效果。
工業(yè)級(jí)知識(shí)圖譜:方法與實(shí)踐 作者簡(jiǎn)介
張 偉 博士畢業(yè)于新加坡國(guó)立大學(xué)。研究方向?yàn)橹R(shí)圖譜（KG）、自然語(yǔ)言處理（NLP）等。曾任阿里巴巴資深算法專家、新加坡資訊通信研究院NLP應(yīng)用實(shí)驗(yàn)室主任等職位。曾擔(dān)任NLP會(huì)議ACL領(lǐng)域主席，期刊TACL常駐審稿人。兼職復(fù)旦大學(xué)、蘇州大學(xué)碩士生校外導(dǎo)師。主導(dǎo)了阿里巴巴商品知識(shí)圖譜的建設(shè)。論文發(fā)表在WWW/EMNLP/AAAI/IJCAI/AIJ/CoLing/ICDE/WSDM/IJCNLP/NAACL/CIKM等國(guó)際會(huì)議和期刊上。獲得了錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)一等獎(jiǎng)，杭州市省級(jí)領(lǐng)軍人才等榮譽(yù)。 陳華鈞 浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授/博導(dǎo)，主要研究方向?yàn)橹R(shí)圖譜、大數(shù)據(jù)系統(tǒng)、自然語(yǔ)言處理等。在WWW/IJCAI/AAAI/KR/ACL/EMNLP/KDD/VLDB/ICDE/TKDE/ACM MM/Briefings in Bioinforamtics等國(guó)際會(huì)議或期刊上發(fā)表多篇論文。曾獲國(guó)際語(yǔ)義網(wǎng)會(huì)議ISWC2006最佳論文獎(jiǎng)、教育部技術(shù)發(fā)明一等獎(jiǎng)、錢偉長(zhǎng)中文信息處理科技獎(jiǎng)一等獎(jiǎng)、阿里巴巴優(yōu)秀學(xué)術(shù)合作獎(jiǎng)、中國(guó)工信傳媒出版集團(tuán)優(yōu)秀出版物一等獎(jiǎng)等獎(jiǎng)勵(lì)。牽頭發(fā)起中文開(kāi)放知識(shí)圖譜OpenKG，中國(guó)人工智能學(xué)會(huì)知識(shí)工程專業(yè)委員會(huì)副主任、中國(guó)中文信息學(xué)會(huì)語(yǔ)言與知識(shí)計(jì)算專委會(huì)副主任，全國(guó)知識(shí)圖譜大會(huì)CCKS2020大會(huì)主席，Elsevier Big Data Research Journal Editor in Chief。 張亦弛 畢業(yè)于倫敦大學(xué)。工作研究方向?yàn)殡娚填I(lǐng)域知識(shí)圖譜構(gòu)建、自然語(yǔ)言處理和多模態(tài)技術(shù)在知識(shí)圖譜的應(yīng)用等。曾任阿里巴巴商品知識(shí)圖譜算法負(fù)責(zé)人。在阿里巴巴知識(shí)圖譜藏經(jīng)閣研究計(jì)劃中，聯(lián)合團(tuán)隊(duì)與清華大學(xué)、浙江大學(xué)、中科院軟件所、中科院自動(dòng)化所和蘇州大學(xué)等科研機(jī)構(gòu)協(xié)作，構(gòu)建了千億級(jí)商品知識(shí)圖譜數(shù)據(jù)，服務(wù)了阿里十多個(gè)垂直電商平臺(tái)和海內(nèi)外多個(gè)國(guó)家市場(chǎng)。學(xué)術(shù)論文發(fā)表在BMVC/EMNLP/WSDM等國(guó)內(nèi)外會(huì)議和期刊中。團(tuán)隊(duì)多次榮獲中國(guó)國(guó)家編碼中心和中國(guó)ECR委員會(huì)頒發(fā)的創(chuàng)新項(xiàng)目獎(jiǎng)、卓越項(xiàng)目獎(jiǎng)，中國(guó)中文信息學(xué)會(huì)錢偉長(zhǎng)科技獎(jiǎng)一等獎(jiǎng)等國(guó)家機(jī)構(gòu)和學(xué)術(shù)協(xié)會(huì)獎(jiǎng)項(xiàng)。
書友推薦
- >
新文學(xué)天穹兩巨星--魯迅與胡適/紅燭學(xué)術(shù)叢書(紅燭學(xué)術(shù)叢書)
- >
【精裝繪本】畫給孩子的中國(guó)神話
- >
龍榆生：詞曲概論/大家小書
- >
月亮虎
- >
史學(xué)評(píng)論
- >
詩(shī)經(jīng)-先民的歌唱
- >
名家?guī)阕x魯迅:故事新編
- >
我與地壇
本類暢銷
