掃一掃
關(guān)注中圖網(wǎng)
官方微博
神經(jīng)機(jī)器翻譯 版權(quán)信息
- ISBN：9787111701019
- 條形碼：9787111701019 ; 978-7-111-70101-9
- 裝幀：一般膠版紙
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
神經(jīng)機(jī)器翻譯 本書特色
適讀人群 ：自然語言處理相關(guān)專業(yè)本科生或研究生、NLP工程師或研究人員、機(jī)器翻譯相關(guān)從業(yè)者深度學(xué)習(xí)正在徹底改變當(dāng)今機(jī)器翻譯系統(tǒng)的構(gòu)建方式。本書從歷史、語言和應(yīng)用背景等方面介紹了機(jī)器翻譯和評價(jià)所面臨的挑戰(zhàn)，講述了自然語言應(yīng)用中常用的深度學(xué)習(xí)核心方法。此外，本書還包含使用Python撰寫的代碼示例，為讀者理解和實(shí)現(xiàn)自己的機(jī)器翻譯系統(tǒng)提供了一個(gè)實(shí)踐藍(lán)本。本書內(nèi)容廣泛，涵蓋了機(jī)器學(xué)習(xí)技巧、處理各種形式的數(shù)據(jù)所涉及的問題、模型增強(qiáng)，以及分析和可視化面臨的挑戰(zhàn)和方法等內(nèi)容。 本書是對機(jī)器翻譯應(yīng)用當(dāng)前研究的一個(gè)總結(jié)，可作為相關(guān)專業(yè)本科生和研究生的教材，也可以作為那些對神經(jīng)方法在人類語言處理更廣泛領(lǐng)域中的應(yīng)用感興趣的研究人員和開發(fā)人員的參考書。
神經(jīng)機(jī)器翻譯 內(nèi)容簡介
深度學(xué)習(xí)正在改變當(dāng)今機(jī)器翻譯系統(tǒng)的構(gòu)建方式。本書從歷史、語言和應(yīng)用背景等方面介紹了機(jī)器翻譯和評價(jià)所面臨的挑戰(zhàn)，講述了自然語言應(yīng)用中常用的深度學(xué)習(xí)核心方法。此外，本書還包含使用Python撰寫的代碼示例，為讀者理解和實(shí)現(xiàn)自己的機(jī)器翻譯系統(tǒng)提供了一個(gè)實(shí)踐藍(lán)本。本書內(nèi)容廣泛，涵蓋了機(jī)器學(xué)習(xí)技巧、處理各種形式的數(shù)據(jù)所涉及的問題、模型增強(qiáng)，以及分析和可視化面臨的挑戰(zhàn)和方法等內(nèi)容。 本書是對機(jī)器翻譯應(yīng)用當(dāng)前研究的一個(gè)總結(jié)，可作為相關(guān)專業(yè)本科生和研究生的教材，也可以作為那些對神經(jīng)方法在人類語言處理更廣泛領(lǐng)域中的應(yīng)用感興趣的研究人員和開發(fā)人員的參考書。
神經(jīng)機(jī)器翻譯 目錄
作者寄語
譯者序
前言
閱讀指南
**部分 緒論
第1章 翻譯問題 2
1.1 翻譯的目標(biāo) 2
1.2 歧義性 4
1.2.1 詞匯翻譯問題 4
1.2.2 短語翻譯問題 4
1.2.3 句法翻譯問題 5
1.2.4 語義翻譯問題 5
1.3 語言學(xué)觀點(diǎn) 6
1.4 數(shù)據(jù)視角 9
1.4.1 忠實(shí)度 9
1.4.2 流暢度 10
1.4.3 齊普夫定律 11
1.5 實(shí)際問題 13
1.5.1 公開的數(shù)據(jù) 13
1.5.2 評測活動 13
1.5.3 工具集 14
第2章 機(jī)器翻譯的應(yīng)用 15
2.1 信息獲取 15
2.2 人工輔助翻譯 16
2.3 交流 18
2.4 自然語言處理的管道式系統(tǒng) 21
2.5 多模態(tài)機(jī)器翻譯 21
第3章 歷史回顧 23
3.1 神經(jīng)網(wǎng)絡(luò) 24
3.1.1 生物學(xué)啟發(fā) 24
3.1.2 感知器學(xué)習(xí) 25
3.1.3 多層網(wǎng)絡(luò) 25
3.1.4 深度學(xué)習(xí) 26
3.2 機(jī)器翻譯 27
3.2.1 密碼破譯 27
3.2.2 ALPAC報(bào)告與后續(xù)影響 27
3.2.3 首個(gè)商用系統(tǒng) 28
3.2.4 基于中間語言的翻譯系統(tǒng) 28
3.2.5 數(shù)據(jù)驅(qū)動的方法 28
3.2.6 開源的研發(fā)環(huán)境 29
3.2.7 深入用戶 30
3.2.8 神經(jīng)翻譯的興起 30
第4章 評價(jià)方法 32
4.1 基于任務(wù)的評價(jià) 32
4.1.1 真實(shí)世界的任務(wù) 33
4.1.2 內(nèi)容理解 33
4.1.3 譯員翻譯效率 34
4.2 人工評價(jià) 35
4.2.1 忠實(shí)度和流暢度 35
4.2.2 排序 37
4.2.3 連續(xù)分?jǐn)?shù) 38
4.2.4 眾包評價(jià) 40
4.2.5 人工譯文編輯率 41
4.3 自動評價(jià)指標(biāo) 41
4.3.1 BLEU 42
4.3.2 同義詞和形態(tài)變體 43
4.3.3 TER 44
4.3.4 characTER 45
4.3.5 自舉重采樣 45
4.4 指標(biāo)研究 47
4.4.1 關(guān)于評價(jià)的爭論 47
4.4.2 對評價(jià)指標(biāo)的評價(jià) 48
4.4.3 自動評價(jià)指標(biāo)缺點(diǎn)的相關(guān)證據(jù) 49
4.4.4 新的評價(jià)指標(biāo) 50
第二部分 基礎(chǔ)
第5章 神經(jīng)網(wǎng)絡(luò) 54
5.1 線性模型 54
5.2 多層網(wǎng)絡(luò) 55
5.3 非線性模型 56
5.4 推斷 57
5.5 反向傳播訓(xùn)練 59
5.5.1 輸出節(jié)點(diǎn)權(quán)重 60
5.5.2 隱藏層節(jié)點(diǎn)權(quán)重 61
5.5.3 公式總結(jié) 63
5.5.4 權(quán)重更新示例 63
5.5.5 驗(yàn)證集 64
5.6 探索并行處理 65
5.6.1 向量和矩陣運(yùn)算 65
5.6.2 小批量訓(xùn)練 65
5.7 動手實(shí)踐：使用Python實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò) 66
5.7.1 Numpy庫中的數(shù)據(jù)結(jié)構(gòu)和函數(shù) 66
5.7.2 前向計(jì)算 67
5.7.3 反向計(jì)算 67
5.7.4 鏈?zhǔn)椒▌t的重復(fù)使用 68
5.8 擴(kuò)展閱讀 71
第6章 計(jì)算圖 72
6.1 用計(jì)算圖描述神經(jīng)網(wǎng)絡(luò) 72
6.2 梯度計(jì)算 73
6.3 動手實(shí)踐：深度學(xué)習(xí)框架 77
6.3.1 利用PyTorch實(shí)現(xiàn)前向和反向計(jì)算 77
6.3.2 循環(huán)訓(xùn)練 79
6.3.3 批訓(xùn)練 80
6.3.4 優(yōu)化器 81
第7章 神經(jīng)語言模型 83
7.1 前饋神經(jīng)語言模型 83
7.1.1 表征單詞 84
7.1.2 神經(jīng)網(wǎng)絡(luò)架構(gòu) 85
7.1.3 訓(xùn)練 86
7.2 詞嵌入 86
7.3 噪聲對比估計(jì) 88
7.4 循環(huán)神經(jīng)語言模型 89
7.5 長短時(shí)記憶模型 91
7.6 門控循環(huán)單元 93
7.7 深度模型 94
7.8 動手實(shí)踐：PyTorch中的神經(jīng)語言模型 96
7.8.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 96
7.8.2 文本處理 97
7.8.3 循環(huán)訓(xùn)練 98
7.8.4 建議 99
7.9 擴(kuò)展閱讀 100
第8章 神經(jīng)翻譯模型 101
8.1 編碼器–解碼器方法 101
8.2 添加對齊模型 102
8.2.1 編碼器 102
8.2.2 解碼器 103
8.2.3 注意力機(jī)制 104
8.3 訓(xùn)練 106
8.4 深度模型 108
8.4.1 解碼器 108
8.4.2 編碼器 109
8.5 動手實(shí)踐：利用PyTorch實(shí)現(xiàn)神經(jīng)翻譯模型 110
8.5.1 編碼器 111
8.5.2 解碼器 111
8.5.3 訓(xùn)練 113
8.6 擴(kuò)展閱讀 115
第9章 解碼 116
9.1 柱搜索 116
9.2 集成解碼 119
9.2.1 生成候選系統(tǒng) 120
9.2.2 融合系統(tǒng)輸出 120
9.3 重排序 121
9.3.1 利用從右到左解碼的重排序 121
9.3.2 利用反向模型的重排序 122
9.3.3 增加n-best列表的多樣性 122
9.3.4 評分組件的權(quán)重學(xué)習(xí) 123
9.4 優(yōu)化解碼 126
9.5 約束解碼 127
9.5.1 XML模式 127
9.5.2 網(wǎng)格搜索 127
9.5.3 強(qiáng)制注意力 128
9.5.4 評價(jià) 129
9.6 動手實(shí)踐：Python中的解碼 129
9.6.1 假設(shè) 129
9.6.2 柱空間 129
9.6.3 搜索 131
9.6.4 輸出*佳譯文 132
9.7 擴(kuò)展閱讀 133
第三部分 提高
第10章 機(jī)器學(xué)習(xí)技巧 138
10.1 機(jī)器學(xué)習(xí)中的問題 138
10.2 確保隨機(jī)性 140
10.2.1 打亂訓(xùn)練數(shù)據(jù) 141
10.2.2 權(quán)重初始化 141
10.2.3 標(biāo)簽平滑 142
10.3 調(diào)整學(xué)習(xí)率 142
10.3.1 動量項(xiàng) 142
10.3.2 調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率 143
10.3.3 批梯度更新 144
10.4 避免局部*優(yōu) 145
10.4.1 正則化 145
10.4.2 課程學(xué)習(xí) 145
10.4.3 drop-out法 146
10.5 處理梯度消失和梯度爆炸問題 147
10.5.1 梯度裁剪 147
10.5.2 層歸一化 147
10.5.3 捷徑連接和高速連接 148
10.5.4 LSTM和梯度消失 149
10.6 句子級優(yōu)化 150
10.6.1 *小風(fēng)險(xiǎn)訓(xùn)練 150
10.6.2 生成對抗訓(xùn)練 151
10.7 擴(kuò)展閱讀 152
第11章 替代架構(gòu) 155
11.1 神經(jīng)網(wǎng)絡(luò)組件 155
11.1.1 前饋層 155
11.1.2 因子分解 156
11.1.3 基本的數(shù)學(xué)運(yùn)算 157
11.1.4 循環(huán)神經(jīng)網(wǎng)絡(luò) 158
11.1.5 卷積神經(jīng)網(wǎng)絡(luò) 159
11.2 注意力模型 160
11.2.1 注意力計(jì)算 160
11.2.2 多頭注意力 161
11.2.3 細(xì)粒度注意力 162
11.2.4 自注意力 162
11.3 卷積機(jī)器翻譯模型 163
11.4 融合注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò) 165
11.4.1 編碼器 165
11.4.2 解碼器 166
11.4.3 注意力 167
11.5 自注意力：Transformer 167
11.5.1 自注意力層 167
11.5.2 解碼器中的注意力 168
11.6 擴(kuò)展閱讀 171
第12章 重溫單詞 173
12.1 詞嵌入 173
12.1.1 潛在語義分析 174
12.1.2 連續(xù)詞袋模型 175
12.1.3 Skip Gram 176
12.1.4 GloVe 176
12.1.5 ELMo 177
12.1.6 BERT 178
12.2 多語言詞嵌入 178
12.2.1 特定語言詞嵌入之間的映射 179
12.2.2 語言無關(guān)的詞嵌入 180
12.2.3 僅使用單語數(shù)據(jù) 180
12.3 大詞匯表 182
12.3.1 低頻詞的特殊處理 182
12.3.2 字節(jié)對編碼算法 183
12.3.3 句子片段化算法 184
12.3.4 期望*大化訓(xùn)練 185
12.3.5 子詞正則化 185
12.4 基于字符的模型 186
12.4.1 字符序列模型 186
12.4.2 基于字符的單詞表示模型 186
12.4.3 集成基于字符的模型 188
12.5 擴(kuò)展閱讀 189
第13章 領(lǐng)域自適應(yīng) 195
13.1 領(lǐng)域 195
13.1.1 語料庫之間的差異 196
13.1.2 多領(lǐng)域場景 197
13.1.3 領(lǐng)域內(nèi)與領(lǐng)域外 198
13.1.4 自適應(yīng)效應(yīng) 198
13.1.5 合理的警告 199
13.2 混合模型 199
13.2.1 數(shù)據(jù)插值 199
13.2.2 模型插值 200
13.2.3 領(lǐng)域感知訓(xùn)練 201
13.2.4 主題模型 202
13.3 欠采樣 204
13.3.1 Moore-Lewis：語言模型交叉熵 204
13.3.2 基于覆蓋范圍的方法 205
13.3.3 樣本加權(quán) 206
13.4 微調(diào) 206
13.4.1 約束更新 207
13.4.2 文檔級自適應(yīng) 208
13.4.3 句子級自適應(yīng) 209
13.4.4 課程訓(xùn)練 210
13.5 擴(kuò)展閱讀 210
第14章 超越平行語料庫 214
14.1 使用單語數(shù)據(jù) 215
14.1.1 增加語言模型 215
14.1.2 回譯 216
14.1.3 迭代回譯 217
14.1.4 往返訓(xùn)練 217
14.2 多種語言對 218
14.2.1 多種輸入語言 219
14.2.2 多種輸出語言 219
14.2.3 共享模塊 220
14.3 訓(xùn)練相關(guān)任務(wù) 221
14.3.1 預(yù)訓(xùn)練詞嵌入 221
14.3.2 預(yù)訓(xùn)練編碼器和解碼器 221
14.3.3 多任務(wù)訓(xùn)練 222
14.4 擴(kuò)展閱讀 222
第15章 語言學(xué)結(jié)構(gòu) 228
15.1 有指導(dǎo)的對齊訓(xùn)練 228
15.2 建模覆蓋度 230
15.2.1 在推斷過程中約束覆蓋度 230
15.2.2 覆蓋度模型 231
15.2.3 繁衍率 232
15.2.4 特征工程與機(jī)器學(xué)習(xí) 232
15.3 添加語言學(xué)標(biāo)注 233
15.3.1 輸入句子的語言學(xué)標(biāo)注 233
15.3.2 輸出句子的語言學(xué)標(biāo)注 234
15.3.3 語言學(xué)結(jié)構(gòu)化的模型 235
15.4 擴(kuò)展閱讀 236
第16章 當(dāng)前挑戰(zhàn) 238
16.1 領(lǐng)域不匹配 238
16.2 訓(xùn)練數(shù)據(jù)規(guī)模 240
16.3 稀有詞 241
16.4 噪聲數(shù)據(jù) 243
16.4.1 真實(shí)世界中的噪聲 243
16.4.2 合成噪聲 245
16.4.3 噪聲對翻譯質(zhì)量的影響 246
16.5 柱搜索 248
16.6 詞對齊 250
16.7 擴(kuò)展閱讀 251
第17章 分析與可視化 253
17.1 錯誤分析 253
17.1.1 神經(jīng)機(jī)器翻譯的典型錯誤 253
17.1.2 語言學(xué)錯誤類型 255
17.1.3 真實(shí)世界中的研究案例 256
17.1.4 目標(biāo)測試集 257
17.1.5 合成語言 259
17.2 可視化 259
17.2.1 詞嵌入 260
17.2.2 編碼器狀態(tài)：詞義 261
17.2.3 注意力機(jī)制 262
17.2.4 多頭注意力機(jī)制 263
17.2.5 語言模型預(yù)測中的記憶 264
17.2.6 解碼器狀態(tài) 266
17.2.7 柱搜索 266
17.3 探測向量表示 267
17.3.1 分類器方法 267
17.3.2 實(shí)驗(yàn)發(fā)現(xiàn) 268
17.4 分析神經(jīng)元 269
17.4.1 認(rèn)知理論 269
17.4.2 個(gè)體神經(jīng)元 269
17.4.3 揭示神經(jīng)元 271
17.5 追溯模型決策過程 271
17.5.1 層級間相關(guān)性傳遞 271
17.5.2 相關(guān)性傳遞在機(jī)器翻譯中的應(yīng)用 273
17.5.3 顯著性計(jì)算 274
17.6 擴(kuò)展閱讀 275
參考文獻(xiàn) 279
展開全部
神經(jīng)機(jī)器翻譯 作者簡介
作者簡介 菲利普·科恩(Philipp Koehn)是約翰斯·霍普金斯大學(xué)計(jì)算機(jī)科學(xué)系的教授。他是機(jī)器翻譯領(lǐng)域的領(lǐng)軍人物，于2010年出版了教材Statistical Machine Translation（劍橋大學(xué)出版社出版，中文版為《統(tǒng)計(jì)機(jī)器翻譯》）。他曾獲國際機(jī)器翻譯協(xié)會頒發(fā)的榮譽(yù)獎，是2013年歐洲專利局歐洲發(fā)明家獎的最終三名入圍者之一。他還活躍在科技產(chǎn)業(yè)界，是Omniscien Technology公司的首席科學(xué)家、Meta公司的顧問。 譯者簡介 張家俊，中國科學(xué)院自動化研究所研究員、博士生導(dǎo)師，主要研究方向?yàn)闄C(jī)器翻譯和自然語言處理，曾獲得國家優(yōu)秀青年科學(xué)基金資助，入選中國科協(xié)首屆青年人才托舉工程和北京智源青年科學(xué)家。發(fā)表CCF-A/B類論文70余篇，出版學(xué)術(shù)專著2部，6次獲得最佳/優(yōu)秀論文獎，3次被評為IJCAI、ACL和NAACL的杰出SPC和審稿人。曾獲得中國中文信息學(xué)會錢偉長中文信息處理科學(xué)技術(shù)獎一等獎、青年創(chuàng)新獎一等獎和北京市科學(xué)技術(shù)獎一等獎等，曾擔(dān)任中國中文信息學(xué)會機(jī)器翻譯專委會副主任、青年工作委員會副主任，多次擔(dān)任ACL/EMNLP/COLING的(資深)領(lǐng)域主席。 趙陽，博士，中國科學(xué)院自動化研究所助理研究員。2019年畢業(yè)于中國科學(xué)院自動化研究所模式識別國家重點(diǎn)實(shí)驗(yàn)室，獲博士學(xué)位。畢業(yè)后留所工作，研究方向?yàn)樽匀徽Z言處理與機(jī)器翻譯，在國內(nèi)外相關(guān)頂級學(xué)術(shù)會議（AAAI、IJCAI、EMNLP、COLING等）和著名期刊（TASLP、AI、TALLIP等）上發(fā)表20余篇論文。擔(dān)任國際權(quán)威期刊（TASLP等）的審稿人，多次擔(dān)任國際頂級學(xué)術(shù)會議（ACL、COLING、IJCAI、AAAI）的程序委員會委員，擔(dān)任COLING-20的出版主席。作為負(fù)責(zé)人和參與人員，主持和參與國家自然基金、科技部重點(diǎn)研發(fā)計(jì)劃和中國科學(xué)院先導(dǎo)計(jì)劃等多項(xiàng)國家項(xiàng)目。 宗成慶，中國科學(xué)院自動化研究所研究員、博士生導(dǎo)師，中國科學(xué)院大學(xué)崗位教授（A類），中國人工智能學(xué)會會士和中國計(jì)算機(jī)學(xué)會會士。主要從事自然語言處理、機(jī)器翻譯和語言認(rèn)知計(jì)算等研究，主持國家項(xiàng)目10余項(xiàng)，發(fā)表論文200余篇，出版《統(tǒng)計(jì)自然語言處理》等專著三部和譯著一部，是國際計(jì)算語言學(xué)委員會（ICCL）委員、亞洲自然語言處理學(xué)會（AFNLP）主席和中國中文信息學(xué)會副理事長。曾任國際一流學(xué)術(shù)會議ACL 2015程序委員會主席和ACL 2021大會主席。曾榮獲國家科技進(jìn)步獎二等獎和北京市科學(xué)技術(shù)獎一等獎等，曾獲北京市優(yōu)秀教師、中國科學(xué)院優(yōu)秀導(dǎo)師和寶鋼優(yōu)秀教師獎等若干榮譽(yù)，享受國務(wù)院特殊津貼。
書友推薦
- >
莉莉和章魚
- >
月亮虎
- >
經(jīng)典常談
- >
煙與鏡
- >
名家?guī)阕x魯迅:故事新編
- >
我從未如此眷戀人間
- >
有舍有得是人生
- >
朝聞道
本類暢銷
