掃一掃
關(guān)注中圖網(wǎng)
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應(yīng)用
-
>
決戰(zhàn)行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調(diào)優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
基于深度學(xué)習(xí)的自然語言處理和語音識別 版權(quán)信息
- ISBN：9787111740933
- 條形碼：9787111740933 ; 978-7-111-74093-3
- 裝幀：平裝-膠訂
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
基于深度學(xué)習(xí)的自然語言處理和語音識別 本書特色
隨著深度學(xué)習(xí)、自然語言處理（NLP）和語音處理應(yīng)用在許多領(lǐng)域（包括金融、醫(yī)療和政務(wù)等）的廣泛應(yīng)用，越來越需要一種綜合資源，將深度學(xué)習(xí)技術(shù)映射到NLP和語音處理，并提供在現(xiàn)實應(yīng)用程序中使用相關(guān)工具和庫的指導(dǎo)。本書剖析了適用于NLP和語音處理的前沿深度學(xué)習(xí)方法，提供了全面的介紹，并在現(xiàn)實案例研究中給出了代碼以方便上手實踐。
基于深度學(xué)習(xí)的自然語言處理和語音識別 內(nèi)容簡介
本書介紹了深度學(xué)習(xí)的體系結(jié)構(gòu)，以及在各種NLP任務(wù)的應(yīng)用，包括文檔分類、機器翻譯、語言建模和語音識別。并提供使用真實世界的應(yīng)用程序的工具和庫的介紹。為NLP和語音識別的深度學(xué)習(xí)解釋了適用于NLP和語音的深度學(xué)習(xí)方法，并提供了實際的案例研究與代碼。
基于深度學(xué)習(xí)的自然語言處理和語音識別 目錄
目 錄
Deep Learning for NLP and Speech Recognition 推薦序一
推薦序二
推薦序三
譯者序
前言
致謝
符號約定 **部分 機器學(xué)習(xí)、自然語言處理與語音介紹 第1章 引言2
1.1 機器學(xué)習(xí)3
1.1.1 監(jiān)督學(xué)習(xí)3
1.1.2 無監(jiān)督學(xué)習(xí)4
1.1.3 半監(jiān)督學(xué)習(xí)和主動學(xué)習(xí)4
1.1.4 遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí)4
1.1.5 強化學(xué)習(xí)4
1.2 歷史背景4
1.2.1 深度學(xué)習(xí)簡史5
1.2.2 自然語言處理簡史7
1.2.3 自動語音識別簡史10
1.3 為實踐者提供的工具、庫、數(shù)據(jù)
集和資源12
1.3.1 深度學(xué)習(xí)12
1.3.2 自然語言處理13
1.3.3 語音識別13
1.3.4 書籍14
1.3.5 在線課程與資源14
1.3.6 數(shù)據(jù)集15
1.4 案例研究和實現(xiàn)細節(jié)17
參考文獻18
第2章 機器學(xué)習(xí)基礎(chǔ)29
2.1 章節(jié)簡介29
2.2 監(jiān)督學(xué)習(xí)：框架和正式定義29
2.2.1 輸入空間和樣本29
2.2.2 目標函數(shù)和標簽30
2.2.3 訓(xùn)練和預(yù)測30
2.3 學(xué)習(xí)過程31
2.4 機器學(xué)習(xí)理論32
2.4.1 通過Vapnik-Chervonenkis分析
進行“泛化-近似”的權(quán)衡32
2.4.2 通過偏差-方差分析進行“泛
化-近似”的權(quán)衡33
2.4.3 模型性能和評估指標34
2.4.4 模型驗證36
2.4.5 模型估計和對比38
2.4.6 機器學(xué)習(xí)中的實踐經(jīng)驗39
2.5 線性算法40
2.5.1 線性回歸40
2.5.2 感知機41
2.5.3 正則化42
2.5.4 邏輯回歸43
2.5.5 生成式分類器46
2.5.6 線性算法中的實踐經(jīng)驗47
2.6 非線性算法47
2.6.1 支持向量機48
2.6.2 其他非線性算法49
2.7 特征的轉(zhuǎn)換、選擇和降維50
2.7.1 特征轉(zhuǎn)換50
2.7.2 特征選擇和降維50
2.8 序列數(shù)據(jù)和建模51
2.8.1 離散時間馬爾可夫鏈51
2.8.2 判別式方法：隱馬爾可夫
模型52
2.8.3 生成式方法：條件隨機場53
2.9 案例研究55
2.9.1 軟件工具和資源庫55
2.9.2 探索性數(shù)據(jù)分析56
2.9.3 模型訓(xùn)練和超參數(shù)搜索56
2.9.4 *終訓(xùn)練和測試模型60
2.9.5 留給讀者的練習(xí)60
參考文獻62
第3章 文本和語音處理基礎(chǔ)63
3.1 章節(jié)簡介63
3.1.1 計算語言學(xué)63
3.1.2 自然語言63
3.1.3 語言模型64
3.2 詞法分析65
3.2.1 詞干化65
3.2.2 詞元化65
3.3 詞匯表示66
3.3.1 標記66
3.3.2 停用詞66
3.3.3 n-gram67
3.3.4 文檔67
3.4 句法表示69
3.4.1 詞性69
3.4.2 依存分析70
3.5 語義表示71
3.5.1 命名實體識別72
3.5.2 關(guān)系抽取72
3.5.3 事件抽取73
3.5.4 語義角色標注73
3.6 語篇表示73
3.6.1 銜接性73
3.6.2 連貫性74
3.6.3 回指/預(yù)指74
3.6.4 局部和全局共指74
3.7 語言模型74
3.7.1 n-gram模型74
3.7.2 拉普拉斯平滑75
3.7.3 集外詞75
3.7.4 困惑度76
3.8 文本分類76
3.8.1 機器學(xué)習(xí)方法76
3.8.2 情感分析77
3.8.3 蘊含79
3.9 文本聚類79
3.9.1 詞匯鏈79
3.9.2 主題建模80
3.10 機器翻譯80
3.10.1 基于字典的翻譯80
3.10.2 基于統(tǒng)計的翻譯81
3.11 問答系統(tǒng)81
3.11.1 基于信息檢索的問答82
3.11.2 基于知識的問答82
3.11.3 自動推理83
3.12 自動摘要83
3.12.1 基于提取的自動摘要83
3.12.2 基于抽象的自動摘要83
3.13 自動語音識別84
3.14 案例研究85
3.14.1 軟件工具和庫85
3.14.2 探索性數(shù)據(jù)分析86
3.14.3 文本聚類87
3.14.4 主題建模90
3.14.5 文本分類92
3.14.6 留給讀者的練習(xí)94
參考文獻94 第二部分 深度學(xué)習(xí)介紹 第4章 深度學(xué)習(xí)基礎(chǔ)100
4.1 章節(jié)簡介100
4.2 感知機算法詳解101
4.2.1 偏置101
4.2.2 線性和非線性可分103
4.3 多層感知機（神經(jīng)網(wǎng)絡(luò)）103
4.3.1 訓(xùn)練MLP104
4.3.2 前向傳播104
4.3.3 誤差計算105
4.3.4 反向傳播105
4.3.5 參數(shù)更新106
4.3.6 全局逼近定理107
4.4 深度學(xué)習(xí)107
4.4.1 激活函數(shù)108
4.4.2 損失函數(shù)112
4.4.3 優(yōu)化方法112
4.5 模型訓(xùn)練114
4.5.1 提前停止114
4.5.2 梯度消失/爆炸115
4.5.3 全批量和小批量梯度下降115
4.5.4 正則化115
4.5.5 超參數(shù)選擇117
4.5.6 數(shù)據(jù)可用性和質(zhì)量118
4.5.7 討論119
4.6 無監(jiān)督深度學(xué)習(xí)120
4.6.1 基于能量的模型120
4.6.2 受限玻耳茲曼機120
4.6.3 深度置信網(wǎng)絡(luò)121
4.6.4 自編碼器121
4.6.5 稀疏編碼124
4.6.6 生成對抗網(wǎng)絡(luò)124
4.7 關(guān)于框架的思考125
4.7.1 層抽象125
4.7.2 計算圖125
4.7.3 反向模式自動微分125
4.7.4 靜態(tài)計算圖126
4.7.5 動態(tài)計算圖126
4.8 案例研究127
4.8.1 軟件工具和庫127
4.8.2 探索性數(shù)據(jù)分析127
4.8.3 監(jiān)督學(xué)習(xí)128
4.8.4 無監(jiān)督學(xué)習(xí)132
4.8.5 使用無監(jiān)督特征進行分類134
4.8.6 結(jié)果135
4.8.7 留給讀者的練習(xí)136
參考文獻136
第5章 分布式表示139
5.1 章節(jié)簡介139
5.2 分布式語義139
5.2.1 向量空間模型139
5.2.2 詞表示140
5.2.3 神經(jīng)語言模型140
5.2.4 word2vec142
5.2.5 GloVe149
5.2.6 譜詞向量150
5.2.7 多語言詞向量150
5.3 詞向量的局限性151
5.3.1 集外詞151
5.3.2 反義詞151
5.3.3 多義詞152
5.3.4 偏見154
5.3.5 其他限制154
5.4 進階內(nèi)容154
5.4.1 子詞向量154
5.4.2 詞向量量化155
5.4.3 句子向量156
5.4.4 概念向量156
5.4.5 語義詞典的更新157
5.4.6 高斯嵌入158
5.4.7 雙曲嵌入159
5.5 應(yīng)用160
5.5.1 分類160
5.5.2 文檔聚類161
5.5.3 語言模型161
5.5.4 文本異常檢測162
5.5.5 語境化向量162
5.6 案例研究163
5.6.1 軟件工具和庫163
5.6.2 探索性數(shù)據(jù)分析163
5.6.3 學(xué)習(xí)詞向量165
5.6.4 文檔聚類173
5.6.5 詞義消歧174
5.6.6 留給讀者的練習(xí)176
參考文獻176
第6章 卷積神經(jīng)網(wǎng)絡(luò)179
6.1 章節(jié)簡介179
6.2 卷積神經(jīng)網(wǎng)絡(luò)的基本構(gòu)建模塊179
6.2.1 線性時不變系統(tǒng)中的卷積和
相關(guān)性179
6.2.2 局部連接或稀疏交互180
6.2.3 參數(shù)共享181
6.2.4 空間排列181
6.2.5 使用非線性的檢測器183
6.2.6 池化和下采樣184
6.3 卷積神經(jīng)網(wǎng)絡(luò)中的前向和反向傳播185
6.3.1 關(guān)于權(quán)重的梯度185
6.3.2 關(guān)于輸入的梯度186
6.3.3 *大池化層187
6.4 文本輸入和卷積神經(jīng)網(wǎng)絡(luò)187
6.4.1 詞向量和卷積神經(jīng)網(wǎng)絡(luò)187
6.4.2 基于字符的表示和卷積神經(jīng)網(wǎng)絡(luò)190
6.5 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)191
6.5.1 LeNet-5191
6.5.2 AlexNet192
6.5.3 VGG-16193
6.6 現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)194
6.6.1 堆疊或分層卷積神經(jīng)網(wǎng)絡(luò)194
6.6.2 空洞卷積神經(jīng)網(wǎng)絡(luò)194
6.6.3 Inception網(wǎng)絡(luò)195
6.6.4 其他卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)197
6.7 卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理中
的應(yīng)用199
6.7.1 文本分類199
6.7.2 文本聚類和主題挖掘199
6.7.3 語法分析200
6.7.4 信息抽取200
6.7.5 機器翻譯200
6.7.6 文本摘要201
6.7.7 問答系統(tǒng)201
6.8 卷積快速算法201
6.8.1 卷積定理和快速傅里葉變換201
6.8.2 快速濾波算法202
6.9 案例研究203
6.9.1 軟件工具和庫204
6.9.2 探索性數(shù)據(jù)分析204
6.9.3 數(shù)據(jù)預(yù)處理和數(shù)據(jù)拆分205
6.9.4 卷積神經(jīng)網(wǎng)絡(luò)模型實驗206
6.9.5 了解和改進模型209
6.9.6 留給讀者的練習(xí)211
6.10 討論211
參考文獻211
第7章 循環(huán)神經(jīng)網(wǎng)絡(luò)215
7.1 章節(jié)簡介215
7.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的基本構(gòu)建模塊215
7.2.1 循環(huán)與記憶215
7.2.2 PyTorch示例216
7.3 循環(huán)神經(jīng)網(wǎng)絡(luò)及其特性217
7.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)中的前向和反向
傳播217
7.3.2 梯度消失問題和正則化221
7.4 深度循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)223
7.4.1 深度循環(huán)網(wǎng)絡(luò)223
7.4.2 殘差LSTM223
7.4.3 循環(huán)高速網(wǎng)絡(luò)224
7.4.4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)224
7.4.5 SRU和Quasi-RNN224
7.4.6 遞歸神經(jīng)網(wǎng)絡(luò)225
7.5 循環(huán)神經(jīng)網(wǎng)絡(luò)的擴展226
7.5.1 序列到序列方法226
7.5.2 注意力機制227
7.5.3 指針網(wǎng)絡(luò)228
7.5.4 transformer網(wǎng)絡(luò)229
7.6 循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語言處理中
的應(yīng)用229
7.6.1 文本分類230
7.6.2 詞性標注和命名實體識別230
7.6.3 依存分析230
7.6.4 主題建模和摘要230
7.6.5 問答系統(tǒng)231
7.6.6 多模態(tài)231
7.6.7 語言模型231
7.6.8 神經(jīng)機器翻譯232
7.6.9 預(yù)測/采樣輸出234
7.7 案例研究236
7.7.1 軟件工具和庫236
7.7.2 探索性數(shù)據(jù)分析236
7.7.3 模型訓(xùn)練241
7.7.4 結(jié)果243
7.7.5 留給讀者的練習(xí)247
7.8 討論247
7.8.1 記憶或泛化247
7.8.2 RNN的未來248
參考文獻248
第8章 自動語音識別252
8.1 章節(jié)簡介252
8.2 聲學(xué)特征253
8.2.1 語音的形成253
8.2.2 語音的原始波形253
8.2.3 MFCC253
8.2.4 其他類型的特征257
8.3 音素257
8.4 統(tǒng)計語音識別259
8.4.1 聲學(xué)模型：P(X｜W)260
8.4.2 語言模型：P(W)262
8.4.3 HMM解碼263
8.5 錯誤指標264
8.6 DNN/HMM混合模型266
8.7 案例研究267
8.7.1 數(shù)據(jù)集：Common Voice267
8.7.2 軟件工具和庫267
8.7.3 Sphinx267
8.7.4 Kaldi271
8.7.5 結(jié)果273
8.7.6 留給讀者的練習(xí)275
參考文獻275 第三部分 用于文本與語音的高階深度學(xué)習(xí)技術(shù) 第9章 注意力與記憶增強網(wǎng)絡(luò)278
9.1 章節(jié)簡介278
9.2 注意力機制279
9.2.1 對注意力機制的需求279
9.2.2 軟注意力機制279
9.2.3 基于評分的注意力機制281
9.2.4 軟注意力與硬注意力281
9.2.5 局部注意力與全局注意力282
9.2.6 自注意力機制282
9.2.7 鍵值注意力機制283
9.2.8 多頭自注意力機制283
9.2.9 分層注意力機制284
9.2.10 注意力機制在文本和語音中
的應(yīng)用286
9.3 記憶增強網(wǎng)絡(luò)286
9.3.1 記憶網(wǎng)絡(luò)286
9.3.2 端到端記憶網(wǎng)絡(luò)288
9.3.3 神經(jīng)圖靈機290
9.3.4 可微神經(jīng)計算機292
9.3.5 動態(tài)記憶網(wǎng)絡(luò)294
9.3.6 神經(jīng)堆棧、隊列和雙端隊列296
9.3.7 循環(huán)實體網(wǎng)絡(luò)299
9.3.8 記憶增強網(wǎng)絡(luò)在文本和語音中
的應(yīng)用300
9.4 案例研究301
9.4.1 基于注意力的NMT301
9.4.2 探索性數(shù)據(jù)分析301
9.4.3 問答308
9.4.4 動態(tài)記憶網(wǎng)絡(luò)312
9.4.5 留給讀者的練習(xí)316
參考文獻316
第10章 遷移學(xué)習(xí)：場景、自學(xué)習(xí)和多任務(wù)學(xué)習(xí)319
10.1 章節(jié)簡介319
10.2 遷移學(xué)習(xí)：定義、場景和類別319
10.2.1 遷移學(xué)習(xí)定義319
10.2.2 遷移學(xué)習(xí)場景320
10.2.3 遷移學(xué)習(xí)類別321
10.3 自學(xué)習(xí)322
10.3.1 技術(shù)322
10.3.2 理論323
10.3.3 在NLP中的應(yīng)用323
10.3.4 在語音識別中的應(yīng)用324
10.4 多任務(wù)學(xué)習(xí)324
10.4.1 技術(shù)324
10.4.2 理論330
10.4.3 在NLP中的應(yīng)用331
10.4.4 在語音識別中的應(yīng)用332
10.5 案例研究332
10.5.1 軟件工具和庫332
10.5.2 探索性數(shù)據(jù)分析332
10.5.3 多任務(wù)學(xué)習(xí)實驗與分析333
10.5.4 留給讀者的練習(xí)337
參考文獻337
第11章 遷移學(xué)習(xí)：領(lǐng)域自適應(yīng)341
11.1 章節(jié)簡介341
11.1.1 技術(shù)341
11.1.2 理論354
11.1.3 在NLP中的應(yīng)用356
11.1.4 在語音識別中的應(yīng)用356
11.2 零樣本學(xué)習(xí)、單樣本學(xué)習(xí)和
小樣本學(xué)習(xí)357
11.2.1 零樣本學(xué)習(xí)357
11.2.2 單樣本學(xué)習(xí)359
11.2.3 小樣本學(xué)習(xí)360
11.2.4 理論360
11.2.5 在NLP和語音識別中的
應(yīng)用360
11.3 案例研究361
11.3.1 軟件工具和庫361
11.3.2 探索性數(shù)據(jù)分析362
11.3.3 領(lǐng)域自適應(yīng)實驗362
11.3.4 留給讀者的練習(xí)366
參考文獻366
第12章 端到端語音識別371
12.1 章節(jié)簡介371
12.2 聯(lián)結(jié)主義時間分類371
12.2.1 端到端音位識別373
12.2.2 Deep Speech374
12.2.3 Deep Speech 2375
12.2.4 Wav2Letter375
12.2.5 對CTC的擴展376
12.3 序列到序列模型377
12.3.1 早期的序列到序列自動語音
識別378
12.3.2 LAS網(wǎng)絡(luò)378
12.4 多任務(wù)學(xué)習(xí)379
12.5 端到端解碼380
12.5.1 ASR語言模型380
12.5.2 CTC解碼380
12.5.3 注意力解碼382
12.5.4 組合語言模型訓(xùn)練384
12.5.5 組合CTC-注意力解碼384
12.6 語音嵌入和無監(jiān)督語音識別385
12.6.1 語音嵌入385
12.6.2 非語音386
12.6.3 音頻word2vec386
12.7 案例研究387
12.7.1 軟件工具和庫387
12.7.2 Deep Speech 2387
12.7.3 語言模型訓(xùn)練388
12.7.4 ESPnet390
12.7.5 結(jié)果393
12.7.6 留給讀者的練習(xí)394
參考文獻394
第13章 用于文本和語音處理的深度
強化學(xué)習(xí)397
13.1 章節(jié)簡介397
13.2 強化學(xué)習(xí)基礎(chǔ)397
13.2.1 馬爾可夫決策過程397
13.2.2 價值函數(shù)、Q函數(shù)和優(yōu)勢
函數(shù)398
13.2.3 貝爾曼方程399
13.2.4 *優(yōu)化399
13.2.5 動態(tài)規(guī)劃方法400
13.2.6 蒙特卡羅402
13.2.7 時序差分學(xué)習(xí)403
13.2.8 策略梯度405
13.2.9 Q學(xué)習(xí)406
13.2.10 演員評論家算法406
13.3 深度強化學(xué)習(xí)算法408
13.3.1 強化學(xué)習(xí)為何可以應(yīng)用于seq2seq408
13.3.2 深度策略梯度408
13.3.3 深度Q學(xué)習(xí)409
13.3.4 深度優(yōu)勢演員評論家算法412
13.4 用于文本處理的深度強化學(xué)習(xí)
方法413
13.4.1 信息提取413
13.4.2 文本分類415
13.4.3 對話系統(tǒng)416
13.4.4 文本摘要417
13.4.5 機器翻譯418
13.5 基于語音的深度強化學(xué)習(xí)418
13.5.1 自動語音識別418
13.5.2 語音增強和噪聲抑制418
13.6 案例研究419
13.6.1 軟件工具和庫419
13.6.2 文本摘要419
13.6.3 探索性數(shù)據(jù)分析419
13.6.4 留給讀者的練習(xí)422
參考文獻422
第14章 未來展望425
14.1 端到端架構(gòu)的流行425
14.2 以人工智能為中心的趨勢425
14.3 專用硬件425
14.4 從監(jiān)督學(xué)習(xí)過渡到其他方式425
14.5 可解釋的人工智能426
14.6 模型開發(fā)和部署過程426
14.7 人工智能的民主化426
14.8 NLP發(fā)展趨勢426
14.9 語音處理發(fā)展趨勢427
14.10 結(jié)束語427
Deep Learning for NLP and Speech Recognition 推薦序一
推薦序二
推薦序三
譯者序
前言
致謝
符號約定 **部分 機器學(xué)習(xí)、自然語言處理與語音介紹 第1章 引言2
1.1 機器學(xué)習(xí)3
1.1.1 監(jiān)督學(xué)習(xí)3
1.1.2 無監(jiān)督學(xué)習(xí)4
1.1.3 半監(jiān)督學(xué)習(xí)和主動學(xué)習(xí)4
1.1.4 遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí)4
1.1.5 強化學(xué)習(xí)4
1.2 歷史背景4
1.2.1 深度學(xué)習(xí)簡史5
1.2.2 自然語言處理簡史7
1.2.3 自動語音識別簡史10
1.3 為實踐者提供的工具、庫、數(shù)據(jù)
集和資源12
1.3.1 深度學(xué)習(xí)12
1.3.2 自然語言處理13
1.3.3 語音識別13
1.3.4 書籍14
1.3.5 在線課程與資源14
1.3.6 數(shù)據(jù)集15
1.4 案例研究和實現(xiàn)細節(jié)17
參考文獻18
第2章 機器學(xué)習(xí)基礎(chǔ)29
2.1 章節(jié)簡介29
2.2 監(jiān)督學(xué)習(xí)：框架和正式定義29
2.2.1 輸入空間和樣本29
2.2.2 目標函數(shù)和標簽30
2.2.3 訓(xùn)練和預(yù)測30
2.3 學(xué)習(xí)過程31
2.4 機器學(xué)習(xí)理論32
2.4.1 通過Vapnik-Chervonenkis分析
進行“泛化-近似”的權(quán)衡32
2.4.2 通過偏差-方差分析進行“泛
化-近似”的權(quán)衡33
2.4.3 模型性能和評估指標34
2.4.4 模型驗證36
2.4.5 模型估計和對比38
2.4.6 機器學(xué)習(xí)中的實踐經(jīng)驗39
2.5 線性算法40
2.5.1 線性回歸40
2.5.2 感知機41
2.5.3 正則化42
2.5.4 邏輯回歸43
2.5.5 生成式分類器46
2.5.6 線性算法中的實踐經(jīng)驗47
2.6 非線性算法47
2.6.1 支持向量機48
2.6.2 其他非線性算法49
2.7 特征的轉(zhuǎn)換、選擇和降維50
2.7.1 特征轉(zhuǎn)換50
2.7.2 特征選擇和降維50
2.8 序列數(shù)據(jù)和建模51
2.8.1 離散時間馬爾可夫鏈51
2.8.2 判別式方法：隱馬爾可夫
模型52
2.8.3 生成式方法：條件隨機場53
2.9 案例研究55
2.9.1 軟件工具和資源庫55
2.9.2 探索性數(shù)據(jù)分析56
2.9.3 模型訓(xùn)練和超參數(shù)搜索56
2.9.4 *終訓(xùn)練和測試模型60
2.9.5 留給讀者的練習(xí)60
參考文獻62
第3章 文本和語音處理基礎(chǔ)63
3.1 章節(jié)簡介63
3.1.1 計算語言學(xué)63
3.1.2 自然語言63
3.1.3 語言模型64
3.2 詞法分析65
3.2.1 詞干化65
3.2.2 詞元化65
3.3 詞匯表示66
3.3.1 標記66
3.3.2 停用詞66
3.3.3 n-gram67
3.3.4 文檔67
3.4 句法表示69
3.4.1 詞性69
3.4.2 依存分析70
3.5 語義表示71
3.5.1 命名實體識別72
3.5.2 關(guān)系抽取72
3.5.3 事件抽取73
3.5.4 語義角色標注73
3.6 語篇表示73
3.6.1 銜接性73
3.6.2 連貫性74
3.6.3 回指/預(yù)指74
3.6.4 局部和全局共指74
3.7 語言模型74
3.7.1 n-gram模型74
3.7.2 拉普拉斯平滑75
3.7.3 集外詞75
3.7.4 困惑度76
3.8 文本分類76
3.8.1 機器學(xué)習(xí)方法76
3.8.2 情感分析77
3.8.3 蘊含79
3.9 文本聚類79
3.9.1 詞匯鏈79
3.9.2 主題建模80
3.10 機器翻譯80
3.10.1 基于字典的翻譯80
3.10.2 基于統(tǒng)計的翻譯81
3.11 問答系統(tǒng)81
3.11.1 基于信息檢索的問答82
3.11.2 基于知識的問答82
3.11.3 自動推理83
3.12 自動摘要83
3.12.1 基于提取的自動摘要83
3.12.2 基于抽象的自動摘要83
3.13 自動語音識別84
3.14 案例研究85
3.14.1 軟件工具和庫85
3.14.2 探索性數(shù)據(jù)分析86
3.14.3 文本聚類87
3.14.4 主題建模90
3.14.5 文本分類92
3.14.6 留給讀者的練習(xí)94
參考文獻94 第二部分 深度學(xué)習(xí)介紹 第4章 深度學(xué)習(xí)基礎(chǔ)100
4.1 章節(jié)簡介100
4.2 感知機算法詳解101
4.2.1 偏置101
4.2.2 線性和非線性可分103
4.3 多層感知機（神經(jīng)網(wǎng)絡(luò)）103
4.3.1 訓(xùn)練MLP104
4.3.2 前向傳播104
4.3.3 誤差計算105
4.3.4 反向傳播105
4.3.5 參數(shù)更新106
4.3.6 全局逼近定理107
4.4 深度學(xué)習(xí)107
4.4.1 激活函數(shù)108
4.4.2 損失函數(shù)112
4.4.3 優(yōu)化方法112
4.5 模型訓(xùn)練114
4.5.1 提前停止114
4.5.2 梯度消失/爆炸115
4.5.3 全批量和小批量梯度下降115
4.5.4 正則化115
4.5.5 超參數(shù)選擇117
4.5.6 數(shù)據(jù)可用性和質(zhì)量118
4.5.7 討論119
4.6 無監(jiān)督深度學(xué)習(xí)120
4.6.1 基于能量的模型120
4.6.2 受限玻耳茲曼機120
4.6.3 深度置信網(wǎng)絡(luò)121
4.6.4 自編碼器121
4.6.5 稀疏編碼124
4.6.6 生成對抗網(wǎng)絡(luò)124
4.7 關(guān)于框架的思考125
4.7.1 層抽象125
4.7.2 計算圖125
4.7.3 反向模式自動微分125
4.7.4 靜態(tài)計算圖126
4.7.5 動態(tài)計算圖126
4.8 案例研究127
4.8.1 軟件工具和庫127
4.8.2 探索性數(shù)據(jù)分析127
4.8.3 監(jiān)督學(xué)習(xí)128
4.8.4 無監(jiān)督學(xué)習(xí)132
4.8.5 使用無監(jiān)督特征進行分類134
4.8.6 結(jié)果135
4.8.7 留給讀者的練習(xí)136
參考文獻136
第5章 分布式表示139
5.1 章節(jié)簡介139
5.2 分布式語義139
5.2.1 向量空間模型139
5.2.2 詞表示140
5.2.3 神經(jīng)語言模型140
5.2.4 word2vec142
5.2.5 GloVe149
5.2.6 譜詞向量150
5.2.7 多語言詞向量150
5.3 詞向量的局限性151
5.3.1 集外詞151
5.3.2 反義詞151
5.3.3 多義詞152
5.3.4 偏見154
5.3.5 其他限制154
5.4 進階內(nèi)容154
5.4.1 子詞向量154
5.4.2 詞向量量化155
5.4.3 句子向量156
5.4.4 概念向量156
5.4.5 語義詞典的更新157
5.4.6 高斯嵌入158
5.4.7 雙曲嵌入159
5.5 應(yīng)用160
5.5.1 分類160
5.5.2 文檔聚類161
5.5.3 語言模型161
5.5.4 文本異常檢測162
5.5.5 語境化向量162
5.6 案例研究163
5.6.1 軟件工具和庫163
5.6.2 探索性數(shù)據(jù)分析163
5.6.3 學(xué)習(xí)詞向量165
5.6.4 文檔聚類173
5.6.5 詞義消歧174
5.6.6 留給讀者的練習(xí)176
參考文獻176
第6章 卷積神經(jīng)網(wǎng)絡(luò)179
6.1 章節(jié)簡介179
6.2 卷積神經(jīng)網(wǎng)絡(luò)的基本構(gòu)建模塊179
6.2.1 線性時不變系統(tǒng)中的卷積和
相關(guān)性179
6.2.2 局部連接或稀疏交互180
6.2.3 參數(shù)共享181
6.2.4 空間排列181
6.2.5 使用非線性的檢測器183
6.2.6 池化和下采樣184
6.3 卷積神經(jīng)網(wǎng)絡(luò)中的前向和反向傳播185
6.3.1 關(guān)于權(quán)重的梯度185
6.3.2 關(guān)于輸入的梯度186
6.3.3 *大池化層187
6.4 文本輸入和卷積神經(jīng)網(wǎng)絡(luò)187
6.4.1 詞向量和卷積神經(jīng)網(wǎng)絡(luò)187
6.4.2 基于字符的表示和卷積神經(jīng)網(wǎng)絡(luò)190
6.5 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)191
6.5.1 LeNet-5191
6.5.2 AlexNet192
6.5.3 VGG-16193
6.6 現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)194
6.6.1 堆疊或分層卷積神經(jīng)網(wǎng)絡(luò)194
6.6.2 空洞卷積神經(jīng)網(wǎng)絡(luò)194
6.6.3 Inception網(wǎng)絡(luò)195
6.6.4 其他卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)197
6.7 卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理中
的應(yīng)用199
6.7.1 文本分類199
6.7.2 文本聚類和主題挖掘199
6.7.3 語法分析200
6.7.4 信息抽取200
6.7.5 機器翻譯200
6.7.6 文本摘要201
6.7.7 問答系統(tǒng)201
6.8 卷積快速算法201
6.8.1 卷積定理和快速傅里葉變換201
6.8.2 快速濾波算法202
6.9 案例研究203
6.9.1 軟件工具和庫204
6.9.2 探索性數(shù)據(jù)分析204
6.9.3 數(shù)據(jù)預(yù)處理和數(shù)據(jù)拆分205
6.9.4 卷積神經(jīng)網(wǎng)絡(luò)模型實驗206
6.9.5 了解和改進模型209
6.9.6 留給讀者的練習(xí)211
6.10 討論211
參考文獻211
第7章 循環(huán)神經(jīng)網(wǎng)絡(luò)215
7.1 章節(jié)簡介215
7.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的基本構(gòu)建模塊215
7.2.1 循環(huán)與記憶215
7.2.2 PyTorch示例216
7.3 循環(huán)神經(jīng)網(wǎng)絡(luò)及其特性217
7.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)中的前向和反向
傳播217
7.3.2 梯度消失問題和正則化221
7.4 深度循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)223
7.4.1 深度循環(huán)網(wǎng)絡(luò)223
7.4.2 殘差LSTM223
7.4.3 循環(huán)高速網(wǎng)絡(luò)224
7.4.4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)224
7.4.5 SRU和Quasi-RNN224
7.4.6 遞歸神經(jīng)網(wǎng)絡(luò)225
7.5 循環(huán)神經(jīng)網(wǎng)絡(luò)的擴展226
7.5.1 序列到序列方法226
7.5.2 注意力機制227
7.5.3 指針網(wǎng)絡(luò)228
7.5.4 transformer網(wǎng)絡(luò)229
7.6 循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語言處理中
的應(yīng)用229
7.6.1 文本分類230
7.6.2 詞性標注和命名實體識別230
7.6.3 依存分析230
7.6.4 主題建模和摘要230
7.6.5 問答系統(tǒng)231
7.6.6 多模態(tài)231
7.6.7 語言模型231
7.6.8 神經(jīng)機器翻譯232
7.6.9 預(yù)測/采樣輸出234
7.7 案例研究236
7.7.1 軟件工具和庫236
7.7.2 探索性數(shù)據(jù)分析236
7.7.3 模型訓(xùn)練241
7.7.4 結(jié)果243
7.7.5 留給讀者的練習(xí)247
7.8 討論247
7.8.1 記憶或泛化247
7.8.2 RNN的未來248
參考文獻248
第8章 自動語音識別252
8.1 章節(jié)簡介252
8.2 聲學(xué)特征253
8.2.1 語音的形成253
8.2.2 語音的原始波形253
8.2.3 MFCC253
8.2.4 其他類型的特征257
8.3 音素257
8.4 統(tǒng)計語音識別259
8.4.1 聲學(xué)模型：P(X｜W)260
8.4.2 語言模型：P(W)262
8.4.3 HMM解碼263
8.5 錯誤指標264
8.6 DNN/HMM混合模型266
8.7 案例研究267
8.7.1 數(shù)據(jù)集：Common Voice267
8.7.2 軟件工具和庫267
8.7.3 Sphinx267
8.7.4 Kaldi271
8.7.5 結(jié)果273
8.7.6 留給讀者的練習(xí)275
參考文獻275 第三部分 用于文本與語音的高階深度學(xué)習(xí)技術(shù) 第9章 注意力與記憶增強網(wǎng)絡(luò)278
9.1 章節(jié)簡介278
9.2 注意力機制279
9.2.1 對注意力機制的需求279
9.2.2 軟注意力機制279
9.2.3 基于評分的注意力機制281
9.2.4 軟注意力與硬注意力281
9.2.5 局部注意力與全局注意力282
9.2.6 自注意力機制282
9.2.7 鍵值注意力機制283
9.2.8 多頭自注意力機制283
9.2.9 分層注意力機制284
9.2.10 注意力機制在文本和語音中
的應(yīng)用286
9.3 記憶增強網(wǎng)絡(luò)286
9.3.1 記憶網(wǎng)絡(luò)286
9.3.2 端到端記憶網(wǎng)絡(luò)288
9.3.3 神經(jīng)圖靈機290
9.3.4 可微神經(jīng)計算機292
9.3.5 動態(tài)記憶網(wǎng)絡(luò)294
9.3.6 神經(jīng)堆棧、隊列和雙端隊列296
9.3.7 循環(huán)實體網(wǎng)絡(luò)299
9.3.8 記憶增強網(wǎng)絡(luò)在文本和語音中
的應(yīng)用300
9.4 案例研究301
9.4.1 基于注意力的NMT301
9.4.2 探索性數(shù)據(jù)分析301
9.4.3 問答308
9.4.4 動態(tài)記憶網(wǎng)絡(luò)312
9.4.5 留給讀者的練習(xí)316
參考文獻316
第10章 遷移學(xué)習(xí)：場景、自學(xué)習(xí)和多任務(wù)學(xué)習(xí)319
10.1 章節(jié)簡介319
10.2 遷移學(xué)習(xí)：定義、場景和類別319
10.2.1 遷移學(xué)習(xí)定義319
10.2.2 遷移學(xué)習(xí)場景320
10.2.3 遷移學(xué)習(xí)類別321
10.3 自學(xué)習(xí)322
10.3.1 技術(shù)322
10.3.2 理論323
10.3.3 在NLP中的應(yīng)用323
10.3.4 在語音識別中的應(yīng)用324
10.4 多任務(wù)學(xué)習(xí)324
10.4.1 技術(shù)324
10.4.2 理論330
10.4.3 在NLP中的應(yīng)用331
10.4.4 在語音識別中的應(yīng)用332
10.5 案例研究332
10.5.1 軟件工具和庫332
10.5.2 探索性數(shù)據(jù)分析332
10.5.3 多任務(wù)學(xué)習(xí)實驗與分析333
10.5.4 留給讀者的練習(xí)337
參考文獻337
第11章 遷移學(xué)習(xí)：領(lǐng)域自適應(yīng)341
11.1 章節(jié)簡介341
11.1.1 技術(shù)341
11.1.2 理論354
11.1.3 在NLP中的應(yīng)用356
11.1.4 在語音識別中的應(yīng)用356
11.2 零樣本學(xué)習(xí)、單樣本學(xué)習(xí)和
小樣本學(xué)習(xí)357
11.2.1 零樣本學(xué)習(xí)357
11.2.2 單樣本學(xué)習(xí)359
11.2.3 小樣本學(xué)習(xí)360
11.2.4 理論360
11.2.5 在NLP和語音識別中的
應(yīng)用360
11.3 案例研究361
11.3.1 軟件工具和庫361
11.3.2 探索性數(shù)據(jù)分析362
11.3.3 領(lǐng)域自適應(yīng)實驗362
11.3.4 留給讀者的練習(xí)366
參考文獻366
第12章 端到端語音識別371
12.1 章節(jié)簡介371
12.2 聯(lián)結(jié)主義時間分類371
12.2.1 端到端音位識別373
12.2.2 Deep Speech374
12.2.3 Deep Speech 2375
12.2.4 Wav2Letter375
12.2.5 對CTC的擴展376
12.3 序列到序列模型377
12.3.1 早期的序列到序列自動語音
識別378
12.3.2 LAS網(wǎng)絡(luò)378
12.4 多任務(wù)學(xué)習(xí)379
12.5 端到端解碼380
12.5.1 ASR語言模型380
12.5.2 CTC解碼380
12.5.3 注意力解碼382
12.5.4 組合語言模型訓(xùn)練384
12.5.5 組合CTC-注意力解碼384
12.6 語音嵌入和無監(jiān)督語音識別385
12.6.1 語音嵌入385
12.6.2 非語音386
12.6.3 音頻word2vec386
12.7 案例研究387
12.7.1 軟件工具和庫387
12.7.2 Deep Speech 2387
12.7.3 語言模型訓(xùn)練388
12.7.4 ESPnet390
12.7.5 結(jié)果393
12.7.6 留給讀者的練習(xí)394
參考文獻394
第13章 用于文本和語音處理的深度
強化學(xué)習(xí)397
13.1 章節(jié)簡介397
13.2 強化學(xué)習(xí)基礎(chǔ)397
13.2.1 馬爾可夫決策過程397
13.2.2 價值函數(shù)、Q函數(shù)和優(yōu)勢
函數(shù)398
13.2.3 貝爾曼方程399
13.2.4 *優(yōu)化399
13.2.5 動態(tài)規(guī)劃方法400
13.2.6 蒙特卡羅402
13.2.7 時序差分學(xué)習(xí)403
13.2.8 策略梯度405
13.2.9 Q學(xué)習(xí)406
13.2.10 演員評論家算法406
13.3 深度強化學(xué)習(xí)算法408
13.3.1 強化學(xué)習(xí)為何可以應(yīng)用于seq2seq408
13.3.2 深度策略梯度408
13.3.3 深度Q學(xué)習(xí)409
13.3.4 深度優(yōu)勢演員評論家算法412
13.4 用于文本處理的深度強化學(xué)習(xí)
方法413
13.4.1 信息提取413
13.4.2 文本分類415
13.4.3 對話系統(tǒng)416
13.4.4 文本摘要417
13.4.5 機器翻譯418
13.5 基于語音的深度強化學(xué)習(xí)418
13.5.1 自動語音識別418
13.5.2 語音增強和噪聲抑制418
13.6 案例研究419
13.6.1 軟件工具和庫419
13.6.2 文本摘要419
13.6.3 探索性數(shù)據(jù)分析419
13.6.4 留給讀者的練習(xí)422
參考文獻422
第14章 未來展望425
14.1 端到端架構(gòu)的流行425
14.2 以人工智能為中心的趨勢425
14.3 專用硬件425
14.4 從監(jiān)督學(xué)習(xí)過渡到其他方式425
14.5 可解釋的人工智能426
14.6 模型開發(fā)和部署過程426
14.7 人工智能的民主化426
14.8 NLP發(fā)展趨勢426
14.9 語音處理發(fā)展趨勢427
14.10 結(jié)束語427
展開全部
基于深度學(xué)習(xí)的自然語言處理和語音識別 作者簡介
作者簡介：
電子科技大學(xué)計算機學(xué)院教授、博士生導(dǎo)師，四川省天府科技領(lǐng)軍人才，國家自然科學(xué)基金聯(lián)合基金會評專家，高速鐵路運行環(huán)境智能監(jiān)控工程研究中心副主任。長期致力于人工智能理論與應(yīng)用創(chuàng)新研究，主持國家自然科學(xué)基金企業(yè)聯(lián)合基金重點項目、國家重點研發(fā)計劃項目及課題等20余項。發(fā)表學(xué)術(shù)論文90余篇，出版國家級規(guī)劃教材和學(xué)術(shù)著作3部。作為第一完成人獲四川省科技進步一等獎、中國安全生產(chǎn)協(xié)會科技進步一等獎各一項。
電子科技大學(xué)研究員、博士生導(dǎo)師，四川省學(xué)術(shù)和技術(shù)帶頭人后備人選。主要研究方向為機器學(xué)習(xí)
與模式識別，先后主持和主研包括NSFC聯(lián)合基金重點、國家重點研發(fā)計劃在內(nèi)的各類科研項目10余項，發(fā)表高水平期刊和會議論文50余篇，獲得國家發(fā)明專利授權(quán)9項，獲得四川省科技進步一等獎。長期從事軟件工程和數(shù)據(jù)分析等課程的教學(xué)工作，主持獲評四川省一流本科課程。
電子科技大學(xué)副教授，CCF高級會員，四川省人工智能學(xué)會理事。主要研究方向為人工智能（多視作者簡介：
烏黛·卡馬特 （Uday Kamath） Digital Reasoning（NLP和語音識別AI領(lǐng)域的頂尖企業(yè)之一）的首席分析官，領(lǐng)導(dǎo)“應(yīng)用機器學(xué)習(xí)”研究小組。他擁有超過20年的架構(gòu)和構(gòu)建基于分析的商業(yè)解決方案的經(jīng)驗。Uday撰寫過許多關(guān)于機器學(xué)習(xí)的書籍，如Machine Learning: End-to-End guide for Java developers和《Java機器學(xué)習(xí)》。Uday是首批使用進化計算進行機器學(xué)習(xí)算法擴展的研究者之一。
約翰·劉 （John Liu） Intelluron Corporation的首席執(zhí)行官。在這之前，John擔(dān)任過Digital Reasoning的副總裁，負責(zé)數(shù)據(jù)科學(xué)和數(shù)據(jù)策略。他在過去的22年里一直在管理定量研究、投資組合和數(shù)據(jù)科學(xué)的團隊。2016年，John被評為年度納什維爾數(shù)據(jù)科學(xué)家。他在賓夕法尼亞大學(xué)獲得電氣工程學(xué)士、碩士和博士學(xué)位，是CFA證書持有者。
詹姆斯·惠特克 （James Whitaker） 負責(zé)管理Digital Reasoning的應(yīng)用研究。他目前還領(lǐng)導(dǎo)金融科技領(lǐng)域語音分析的深度學(xué)習(xí)研究，在過去4年里一直在構(gòu)建NLP、語音識別和計算機視覺方面的機器學(xué)習(xí)應(yīng)用。他在牛津大學(xué)獲得計算機科學(xué)碩士學(xué)位。
譯者簡介：
劉 嶠
電子科技大學(xué)計算機學(xué)院教授、博士生導(dǎo)師，四川省天府科技領(lǐng)軍人才，國家自然科學(xué)基金聯(lián)合基金會評專家，高速鐵路運行環(huán)境智能監(jiān)控工程研究中心副主任。長期致力于人工智能理論與應(yīng)用創(chuàng)新研究，主持國家自然科學(xué)基金企業(yè)聯(lián)合基金重點項目、國家重點研發(fā)計劃項目及課題等20余項。發(fā)表學(xué)術(shù)論文90余篇，出版國家級規(guī)劃教材和學(xué)術(shù)著作3部。作為第一完成人獲四川省科技進步一等獎、中國安全生產(chǎn)協(xié)會科技進步一等獎各一項。
藍 天
電子科技大學(xué)研究員、博士生導(dǎo)師，四川省學(xué)術(shù)和技術(shù)帶頭人后備人選。主要研究方向為機器學(xué)習(xí)
與模式識別，先后主持和主研包括NSFC聯(lián)合基金重點、國家重點研發(fā)計劃在內(nèi)的各類科研項目10余項，發(fā)表高水平期刊和會議論文50余篇，獲得國家發(fā)明專利授權(quán)9項，獲得四川省科技進步一等獎。長期從事軟件工程和數(shù)據(jù)分析等課程的教學(xué)工作，主持獲評四川省一流本科課程。
任亞洲
電子科技大學(xué)副教授，CCF高級會員，四川省人工智能學(xué)會理事。主要研究方向為人工智能（多視
圖學(xué)習(xí)、圖學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等）與智慧醫(yī)療，主持和參與NSFC青年基金、NSFC重點項目、科技創(chuàng)新2030重大項目、四川省重大科技項目等多個項目，發(fā)表高水平期刊和會議論文100余篇（其中CCF A類/SCI一區(qū)論文30多篇）。
徐增林
哈爾濱工業(yè)大學(xué)（深圳）教授、博士生導(dǎo)師，國家自然基金評審專家。主要研究方向為機器學(xué)習(xí)及其在社會網(wǎng)絡(luò)分析、互聯(lián)網(wǎng)、計算生物學(xué)、信息安全等方面的應(yīng)用。在IEEE TPAMI、IEEE TNN等期刊和NIPS、ICML、IJCAI、AAAI等重要會議發(fā)表論文50多篇，出版專著2部。獲得2015年AAAI大會最佳學(xué)生論文獎提名，ACML 2016最佳學(xué)生論文獎亞軍（Runner Up）。曾于2012年在多倫多召開的國際人工智能大會（AAAI）上做教學(xué)報告。
書友推薦
- >
回憶愛瑪儂
- >
二體千字文
- >
我從未如此眷戀人間
- >
史學(xué)評論
- >
名家?guī)阕x魯迅:朝花夕拾
- >
伯納黛特,你要去哪(2021新版)
- >
伊索寓言-世界文學(xué)名著典藏-全譯本
- >
月亮與六便士
本類暢銷
