掃一掃
關(guān)注中圖網(wǎng)
官方微博
深度序列模型與自然語言處理 基于TensorFlow2實(shí)踐 版權(quán)信息
- ISBN：9787302629610
- 條形碼：9787302629610 ; 978-7-302-62961-0
- 裝幀：平裝-膠訂
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
深度序列模型與自然語言處理 基于TensorFlow2實(shí)踐 本書特色
《深度序列模型與自然語言處理：基于TensorFlow2實(shí)踐》旨在幫助讀者掌握深度學(xué)習(xí)和自然語言處理的基本原理和實(shí)際運(yùn)用，講述了*新的研究成果，以及人們*感興趣的深度學(xué)習(xí)生成自然語言等熱門領(lǐng)域。此外，《深度序列模型與自然語言處理：基于TensorFlow2實(shí)踐》提供了基于深度學(xué)習(xí)框架TensorFlow的實(shí)際編程示例，使理論與實(shí)踐相輔相成。
深度序列模型與自然語言處理 基于TensorFlow2實(shí)踐 內(nèi)容簡介
本書以自然語言和語音信號處理兩大應(yīng)用領(lǐng)域?yàn)檩d體,詳細(xì)介紹深度學(xué)習(xí)中的各種常用序列模型。在講述理論知識的同時輔以代碼實(shí)現(xiàn)和 講解,幫助讀者深入掌握相關(guān)知識技能。
本書共12章,不僅涵蓋了詞向量、循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、Transformer等 基礎(chǔ)知識,還 囊括了注意力機(jī)制、序列到序列問題等 專題,同時還包含其他書籍中較少涉及的預(yù)訓(xùn)練語言模型、生成對抗網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)、流模型 等前沿內(nèi)容,以拓寬讀者視野。
本書既適合互聯(lián)網(wǎng)公司算法I程師等群體閱讀,又可以作為本科高年級或研究生級別的自然語言處理和深 度學(xué)習(xí)課程的參考教材。
深度序列模型與自然語言處理 基于TensorFlow2實(shí)踐 目錄
目 錄
第1章 深度學(xué)習(xí)與自然語言處理概述1
1.1 自然語言處理簡史 2
1.1.1 自然語言處理能做什么 2
1.1.2 自然語言處理的發(fā)展史 4
1.2 深度學(xué)習(xí)的興起 6
1.2.1 從機(jī)器學(xué)習(xí)到深度學(xué)習(xí) 6
1.2.2 深度學(xué)習(xí)框架 16
1.2.3 TensorFlow 2程序樣例 19
第2章 詞向量的前世今生 21
2.1 文本預(yù)處理的流程 22
2.2 前深度學(xué)習(xí)時代的詞向量 23
2.2.1 獨(dú)熱向量 23
2.2.2 分布式表示 24
2.3 深度學(xué)習(xí)時代的詞向量 26
2.3.1 詞向量的分類 26
2.3.2 可視化詞向量 27
2.3.3 詞向量在下游任務(wù)中的使用 29
2.4 Word2vec數(shù)學(xué)原理 30
2.4.1 語言模型及其評價(jià) 30
2.4.2 神經(jīng)網(wǎng)絡(luò)概率語言模型 32
2.4.3 Word2vec原理 33
2.5 用TensorFlow實(shí)現(xiàn)Word2vec 38
2.5.1 數(shù)據(jù)準(zhǔn)備 38
2.5.2 模型構(gòu)建及訓(xùn)練 40
2.5.3 詞向量評估與Gensim實(shí)踐 41
第3章 循環(huán)神經(jīng)網(wǎng)絡(luò)之一： 輸入和輸出 45
3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入和輸出 46
3.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的狀態(tài)與輸出 46
3.1.2 輸入和輸出一一對應(yīng) 48
3.1.3 一對多和多對一 49
3.1.4 任意長度的輸入和輸出 50
3.2 區(qū)分RNN和RNNCell 51
3.2.1 基類Layer 52
3.2.2 RNNCell接口 53
3.2.3 RNN接口 54
3.3 簡單循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)例 54
3.4 三種常見的RNN 56
3.4.1 SimpleRNN 57
3.4.2 LSTM 58
3.4.3 GRU 61
3.5 雙向和多層RNN 63
3.5.1 雙向RNN 63
3.5.2 單向多層RNN 65
3.5.3 雙向多層RNN 67
第 4 章 循環(huán)神經(jīng)網(wǎng)絡(luò)之二：高級 71
4.1 在RNN中使用Dropout 71
4.1.1 全連接層中的Dropout 71
4.1.2 RNN中的Dropout 73
4.2 RNN中的梯度流動 75
4.2.1 時序反向傳播算法 75
4.2.2 LSTM的梯度流 79
4.3 RNN中的歸一化方法 83
4.3.1 批歸一化 84
4.3.2 層歸一化 87
第 5 章 循環(huán)神經(jīng)網(wǎng)絡(luò)之三： 實(shí)戰(zhàn)技巧 92
5.1 序列分類 92
5.1.1 MNIST數(shù)字圖像分類 92
5.1.2 變長序列處理與情感分析 94
5.2 超長序列的處理 100
5.2.1 狀態(tài)傳遞與數(shù)據(jù)準(zhǔn)備 101
5.2.2 字符級語言模型 104
5.3 序列標(biāo)注和條件隨機(jī)場 110
5.3.1 IOB格式 110
5.3.2 CONLL2003命名實(shí)體識別 111
5.3.3 條件隨機(jī)場 115
5.4 中間層輸出的提取 119
第 6 章 序列到序列問題 127
6.1 序列到序列問題概述 127
6.1.1 序列到序列問題的兩個代表 127
6.1.2 三種序列到序列模型 128
6.2 CTC 130
6.2.1 CTC 模型結(jié)構(gòu) 131
6.2.2 長短序列的轉(zhuǎn)換 132
6.2.3 計(jì)算標(biāo)簽序列的概率 133
6.2.4 CTC 的推斷算法 136
6.2.5 CTC的缺陷 139
6.2.6 TensorFlow中的CTC 139
6.3 Transducer 141
6.3.1 Transducer模型結(jié)構(gòu) 141
6.3.2 Transducer的對齊網(wǎng)格 142
6.3.3 Transducer的訓(xùn)練算法 144
6.3.4 Transducer模型的推斷 145
6.3.5 Transducer的貪心解碼算法 145
6.3.6 Transducer的集束搜索解碼算法 146
6.4 編碼器-解碼器架構(gòu) 148
6.4.1 編碼器-解碼器架構(gòu)簡介 149
6.4.2 編碼器-解碼器架構(gòu)代碼示例 151
6.4.3 編碼器-解碼器架構(gòu)的其他應(yīng)用 153
6.5 文本生成問題的數(shù)據(jù)處理流程 153
第 7 章 注意力機(jī)制 157
7.1 編碼器-解碼器-注意力架構(gòu)概述 157
7.2 兩種注意力機(jī)制的具體實(shí)現(xiàn) 160
7.2.1 加性注意力 160
7.2.2 乘性注意力 161
7.2.3 對注意力機(jī)制的理解 163
7.3 TensorFlow中的注意力機(jī)制 164
7.3.1 熟悉 tfa.seq2seq164
7.3.2 注意力模塊的引入 171
7.4 注意力機(jī)制的其他應(yīng)用 179
第 8 章 超越序列表示：樹和圖 181
8.1 自然語言中的樹結(jié)構(gòu) 181
8.2 遞歸神經(jīng)網(wǎng)絡(luò)：TreeLSTM 183
8.2.1 遞歸神經(jīng)網(wǎng)絡(luò)簡介 183
8.2.2 TreeLSTM 兩例 185
8.2.3 N元樹形LSTM的TensorFlow實(shí)現(xiàn) 187
8.3 樹形 LSTM 的其他問題 189
8.3.1 樹形遞歸 189
8.3.2 動態(tài)批處理 191
8.3.3 結(jié)構(gòu)反向傳播算法 191
8.3.4 樹形 LSTM 的必要性 192
8.4 圖與自然語言處理 193
8.4.1 LSTM 的其他拓展 193
8.4.2 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用 195
第 9 章 卷積神經(jīng)網(wǎng)絡(luò) 199
9.1 離散卷積的定義 200
9.1.1 卷積的維度 200
9.1.2 卷積的參數(shù) 202
9.2 卷積神經(jīng)網(wǎng)絡(luò)的兩個實(shí)例 204
9.2.1 文本分類與 TextCNN 205
9.2.2 語音合成與 WaveNet 208
第10章 Transformer 219
10.1 Transformer 模型結(jié)構(gòu)介紹 220
10.1.1 注意力層 222
10.1.2 前饋神經(jīng)網(wǎng)絡(luò)層 227
10.1.3 殘差連接與層歸一化 228
10.1.4 位置信息的引入 229
10.1.5 Transformer 整體結(jié)構(gòu) 232
10.2 Transformer：實(shí)現(xiàn)與思考 233
10.2.1 從零實(shí)現(xiàn) Transformer 233
10.2.2 訓(xùn)練和推斷 244
10.2.3 關(guān)于Transformer模塊的反思 249
10.3 Transformer 模型的拓展 253
10.3.1 平方復(fù)雜度與顯存優(yōu)化 253
10.3.2 圖靈完備性與歸納偏置 258
10.3.3 非自回歸模型 259
10.4 Transformer與其他模型的聯(lián)系 261
第11章 預(yù)訓(xùn)練語言模型 263
11.1 預(yù)訓(xùn)練語言模型發(fā)展簡史 264
11.2 GPT 266
11.2.1 語言模型 精調(diào)解決一切問題 266
11.2.2 GPT-2 和 GPT-3：大力出奇跡 270
11.2.3 GPT系列全回顧 276
11.3 BERT 277
11.3.1 為什么 GPT 和 ELMo 還不夠好 277
11.3.2 無監(jiān)督語料知識提取方案 278
11.3.3 在下游任務(wù)上精調(diào) BERT 282
11.3.4 BERT 改進(jìn)方案 284
11.4 后預(yù)訓(xùn)練時代 287
第12章 其他復(fù)雜模型 289
12.1 生成對抗網(wǎng)絡(luò) 289
12.1.1 生成對抗網(wǎng)絡(luò)簡介 289
12.1.2 生成對抗網(wǎng)絡(luò)與無監(jiān)督機(jī)器翻譯 293
12.2 強(qiáng)化學(xué)習(xí) 300
12.2.1 強(qiáng)化學(xué)習(xí)基本概念 300
12.2.2 策略梯度和 REINFORCE 算法 303
12.2.3 強(qiáng)化學(xué)習(xí)與文本生成 305
12.3 流模型 309
12.3.1 歸一化流簡介 310
12.3.2 逆自回歸流與并行 WaveNet 312
參考文獻(xiàn) 316
附錄一 插圖 334
附錄二 算法 337
附錄三 術(shù)語表 338
第1章 深度學(xué)習(xí)與自然語言處理概述1
1.1 自然語言處理簡史 2
1.1.1 自然語言處理能做什么 2
1.1.2 自然語言處理的發(fā)展史 4
1.2 深度學(xué)習(xí)的興起 6
1.2.1 從機(jī)器學(xué)習(xí)到深度學(xué)習(xí) 6
1.2.2 深度學(xué)習(xí)框架 16
1.2.3 TensorFlow 2程序樣例 19
第2章 詞向量的前世今生 21
2.1 文本預(yù)處理的流程 22
2.2 前深度學(xué)習(xí)時代的詞向量 23
2.2.1 獨(dú)熱向量 23
2.2.2 分布式表示 24
2.3 深度學(xué)習(xí)時代的詞向量 26
2.3.1 詞向量的分類 26
2.3.2 可視化詞向量 27
2.3.3 詞向量在下游任務(wù)中的使用 29
2.4 Word2vec數(shù)學(xué)原理 30
2.4.1 語言模型及其評價(jià) 30
2.4.2 神經(jīng)網(wǎng)絡(luò)概率語言模型 32
2.4.3 Word2vec原理 33
2.5 用TensorFlow實(shí)現(xiàn)Word2vec 38
2.5.1 數(shù)據(jù)準(zhǔn)備 38
2.5.2 模型構(gòu)建及訓(xùn)練 40
2.5.3 詞向量評估與Gensim實(shí)踐 41
第3章 循環(huán)神經(jīng)網(wǎng)絡(luò)之一： 輸入和輸出 45
3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入和輸出 46
3.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的狀態(tài)與輸出 46
3.1.2 輸入和輸出一一對應(yīng) 48
3.1.3 一對多和多對一 49
3.1.4 任意長度的輸入和輸出 50
3.2 區(qū)分RNN和RNNCell 51
3.2.1 基類Layer 52
3.2.2 RNNCell接口 53
3.2.3 RNN接口 54
3.3 簡單循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)例 54
3.4 三種常見的RNN 56
3.4.1 SimpleRNN 57
3.4.2 LSTM 58
3.4.3 GRU 61
3.5 雙向和多層RNN 63
3.5.1 雙向RNN 63
3.5.2 單向多層RNN 65
3.5.3 雙向多層RNN 67
第 4 章 循環(huán)神經(jīng)網(wǎng)絡(luò)之二：高級 71
4.1 在RNN中使用Dropout 71
4.1.1 全連接層中的Dropout 71
4.1.2 RNN中的Dropout 73
4.2 RNN中的梯度流動 75
4.2.1 時序反向傳播算法 75
4.2.2 LSTM的梯度流 79
4.3 RNN中的歸一化方法 83
4.3.1 批歸一化 84
4.3.2 層歸一化 87
第 5 章 循環(huán)神經(jīng)網(wǎng)絡(luò)之三： 實(shí)戰(zhàn)技巧 92
5.1 序列分類 92
5.1.1 MNIST數(shù)字圖像分類 92
5.1.2 變長序列處理與情感分析 94
5.2 超長序列的處理 100
5.2.1 狀態(tài)傳遞與數(shù)據(jù)準(zhǔn)備 101
5.2.2 字符級語言模型 104
5.3 序列標(biāo)注和條件隨機(jī)場 110
5.3.1 IOB格式 110
5.3.2 CONLL2003命名實(shí)體識別 111
5.3.3 條件隨機(jī)場 115
5.4 中間層輸出的提取 119
第 6 章 序列到序列問題 127
6.1 序列到序列問題概述 127
6.1.1 序列到序列問題的兩個代表 127
6.1.2 三種序列到序列模型 128
6.2 CTC 130
6.2.1 CTC 模型結(jié)構(gòu) 131
6.2.2 長短序列的轉(zhuǎn)換 132
6.2.3 計(jì)算標(biāo)簽序列的概率 133
6.2.4 CTC 的推斷算法 136
6.2.5 CTC的缺陷 139
6.2.6 TensorFlow中的CTC 139
6.3 Transducer 141
6.3.1 Transducer模型結(jié)構(gòu) 141
6.3.2 Transducer的對齊網(wǎng)格 142
6.3.3 Transducer的訓(xùn)練算法 144
6.3.4 Transducer模型的推斷 145
6.3.5 Transducer的貪心解碼算法 145
6.3.6 Transducer的集束搜索解碼算法 146
6.4 編碼器-解碼器架構(gòu) 148
6.4.1 編碼器-解碼器架構(gòu)簡介 149
6.4.2 編碼器-解碼器架構(gòu)代碼示例 151
6.4.3 編碼器-解碼器架構(gòu)的其他應(yīng)用 153
6.5 文本生成問題的數(shù)據(jù)處理流程 153
第 7 章 注意力機(jī)制 157
7.1 編碼器-解碼器-注意力架構(gòu)概述 157
7.2 兩種注意力機(jī)制的具體實(shí)現(xiàn) 160
7.2.1 加性注意力 160
7.2.2 乘性注意力 161
7.2.3 對注意力機(jī)制的理解 163
7.3 TensorFlow中的注意力機(jī)制 164
7.3.1 熟悉 tfa.seq2seq164
7.3.2 注意力模塊的引入 171
7.4 注意力機(jī)制的其他應(yīng)用 179
第 8 章 超越序列表示：樹和圖 181
8.1 自然語言中的樹結(jié)構(gòu) 181
8.2 遞歸神經(jīng)網(wǎng)絡(luò)：TreeLSTM 183
8.2.1 遞歸神經(jīng)網(wǎng)絡(luò)簡介 183
8.2.2 TreeLSTM 兩例 185
8.2.3 N元樹形LSTM的TensorFlow實(shí)現(xiàn) 187
8.3 樹形 LSTM 的其他問題 189
8.3.1 樹形遞歸 189
8.3.2 動態(tài)批處理 191
8.3.3 結(jié)構(gòu)反向傳播算法 191
8.3.4 樹形 LSTM 的必要性 192
8.4 圖與自然語言處理 193
8.4.1 LSTM 的其他拓展 193
8.4.2 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用 195
第 9 章 卷積神經(jīng)網(wǎng)絡(luò) 199
9.1 離散卷積的定義 200
9.1.1 卷積的維度 200
9.1.2 卷積的參數(shù) 202
9.2 卷積神經(jīng)網(wǎng)絡(luò)的兩個實(shí)例 204
9.2.1 文本分類與 TextCNN 205
9.2.2 語音合成與 WaveNet 208
第10章 Transformer 219
10.1 Transformer 模型結(jié)構(gòu)介紹 220
10.1.1 注意力層 222
10.1.2 前饋神經(jīng)網(wǎng)絡(luò)層 227
10.1.3 殘差連接與層歸一化 228
10.1.4 位置信息的引入 229
10.1.5 Transformer 整體結(jié)構(gòu) 232
10.2 Transformer：實(shí)現(xiàn)與思考 233
10.2.1 從零實(shí)現(xiàn) Transformer 233
10.2.2 訓(xùn)練和推斷 244
10.2.3 關(guān)于Transformer模塊的反思 249
10.3 Transformer 模型的拓展 253
10.3.1 平方復(fù)雜度與顯存優(yōu)化 253
10.3.2 圖靈完備性與歸納偏置 258
10.3.3 非自回歸模型 259
10.4 Transformer與其他模型的聯(lián)系 261
第11章 預(yù)訓(xùn)練語言模型 263
11.1 預(yù)訓(xùn)練語言模型發(fā)展簡史 264
11.2 GPT 266
11.2.1 語言模型 精調(diào)解決一切問題 266
11.2.2 GPT-2 和 GPT-3：大力出奇跡 270
11.2.3 GPT系列全回顧 276
11.3 BERT 277
11.3.1 為什么 GPT 和 ELMo 還不夠好 277
11.3.2 無監(jiān)督語料知識提取方案 278
11.3.3 在下游任務(wù)上精調(diào) BERT 282
11.3.4 BERT 改進(jìn)方案 284
11.4 后預(yù)訓(xùn)練時代 287
第12章 其他復(fù)雜模型 289
12.1 生成對抗網(wǎng)絡(luò) 289
12.1.1 生成對抗網(wǎng)絡(luò)簡介 289
12.1.2 生成對抗網(wǎng)絡(luò)與無監(jiān)督機(jī)器翻譯 293
12.2 強(qiáng)化學(xué)習(xí) 300
12.2.1 強(qiáng)化學(xué)習(xí)基本概念 300
12.2.2 策略梯度和 REINFORCE 算法 303
12.2.3 強(qiáng)化學(xué)習(xí)與文本生成 305
12.3 流模型 309
12.3.1 歸一化流簡介 310
12.3.2 逆自回歸流與并行 WaveNet 312
參考文獻(xiàn) 316
附錄一 插圖 334
附錄二 算法 337
附錄三 術(shù)語表 338
展開全部
深度序列模型與自然語言處理 基于TensorFlow2實(shí)踐 作者簡介
北京大學(xué)計(jì)算語言研究所碩士，在國內(nèi)外會議和期刊上發(fā)表過多篇自然語言處理相關(guān)論文。曾負(fù)責(zé)網(wǎng)易有道離線神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模塊和 Kikatech 印度輸入法引擎算法研發(fā)工作，并撰寫相關(guān)專利。在知乎平臺上回答深度學(xué)習(xí)和自然語言處理相關(guān)問題，多個回答獲得編輯推薦，上萬粉絲關(guān)注。
書友推薦
- >
山海經(jīng)
- >
中國人在烏蘇里邊疆區(qū):歷史與人類學(xué)概述
- >
伊索寓言-世界文學(xué)名著典藏-全譯本
- >
煙與鏡
- >
回憶愛瑪儂
- >
我與地壇
- >
羅庸西南聯(lián)大授課錄
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
本類暢銷
