第1章PyTorch介紹 1.1深度學(xué)習(xí)與PyTorch簡介 1.1.1深度學(xué)習(xí)介紹 1.1.2PyTorch介紹 1.2PyTorch安裝 1.2.1Anaconda下載 1.2.2Windows下安裝PyTorch 1.2.3LinuxUbuntu下安裝PyTorch 1.2.4Anaconda管理 1.3常用數(shù)據(jù)集 1.3.1MNIST數(shù)據(jù)集 1.3.2Fashion-MNIST數(shù)據(jù)集 1.3.3CIFAR-10數(shù)據(jù)集 1.3.4Dogsvs.Cats數(shù)據(jù)集 1.3.5AG_NEWS數(shù)據(jù)集 1.3.6WikiText2數(shù)據(jù)集 1.3.7QIQC數(shù)據(jù)集 1.3.8Multi30k數(shù)據(jù)集 習(xí)題 第2章PyTorch基礎(chǔ)編程 2.1張量數(shù)據(jù)操作 2.1.1張量簡介 2.1.2張量操作 2.1.3廣播機(jī)制 2.1.4在GPU上使用Tensor 2.2自動(dòng)求導(dǎo) 2.2.1自動(dòng)求導(dǎo)概念 2.2.2自動(dòng)求導(dǎo)示例 2.3數(shù)據(jù)集API 2.3.1自定義數(shù)據(jù)集類 2.3.2DataLoader類 2.4torchvision工具示例 2.4.1編寫簡單的圖像數(shù)據(jù)集 2.4.2Transforms模塊 2.4.3Normalize用法 2.4.4ImageFolder用法 2.5torchtext工具示例 2.5.1編寫文本預(yù)處理程序 2.5.2使用torchtext 習(xí)題 第3章深度學(xué)習(xí)快速入門 3.1線性回歸 3.1.1線性回歸介紹 3.1.2線性回歸實(shí)現(xiàn) 3.2使用nn模塊構(gòu)建線性回歸模型 3.2.1使用nn.Linear訓(xùn)練線性回歸模型 3.2.2使用nn.Sequential訓(xùn)練線性回歸模型 3.2.3使用nn.Module訓(xùn)練線性回歸模型 3.3邏輯回歸 3.3.1邏輯回歸介紹 3.3.2邏輯回歸實(shí)現(xiàn) 3.4Softmax回歸 3.4.1Softmax回歸介紹 3.4.2Softmax回歸實(shí)現(xiàn) 3.5神經(jīng)網(wǎng)絡(luò) 3.5.1神經(jīng)元 3.5.2激活函數(shù) 3.5.3神經(jīng)網(wǎng)絡(luò)原理 3.5.4PyTorch神經(jīng)網(wǎng)絡(luò)編程 習(xí)題 第4章神經(jīng)網(wǎng)絡(luò)訓(xùn)練與優(yōu)化 4.1神經(jīng)網(wǎng)絡(luò)迭代概念 4.1.1訓(xùn)練誤差與泛化誤差 4.1.2訓(xùn)練集、驗(yàn)證集和測(cè)試集劃分 4.1.3偏差與方差 4.2正則化方法 4.2.1提前終止 4.2.2正則化 4.2.3Dropout 4.3優(yōu)化算法 4.3.1小批量梯度下降 4.3.2Momentum算法 4.3.3RMSProp算法 4.3.4Adam算法 4.4PyTorch的初始化函數(shù) 4.4.1普通初始化 4.4.2Xavier初始化 4.4.3He初始化 習(xí)題 第5章卷積神經(jīng)網(wǎng)絡(luò)原理 5.1CNN介紹 5.1.1CNN與圖像處理 5.1.2卷積的基本原理 5.1.3池化的基本原理 5.2簡單的CNN網(wǎng)絡(luò) 5.2.1定義網(wǎng)絡(luò)模型 5.2.2模型訓(xùn)練 5.2.3模型評(píng)估 5.2.4主函數(shù) 5.3PyTorch實(shí)現(xiàn)LeNet-5網(wǎng)絡(luò) 5.3.1LeNet-5介紹 5.3.2LeNet-5實(shí)現(xiàn)MNIST手寫數(shù)字識(shí)別 5.3.3LeNet-5實(shí)現(xiàn)CIFAR-10圖像識(shí)別 習(xí)題 第6章卷積神經(jīng)網(wǎng)絡(luò)示例 6.1經(jīng)典CNN網(wǎng)絡(luò) 6.1.1VGG 6.1.2ResNet 6.1.3Inception 6.1.4Xception 6.1.5ResNet代碼研讀 6.2使用預(yù)訓(xùn)練的CNN 6.2.1特征抽取 6.2.2微調(diào) 6.3知識(shí)蒸餾 6.3.1知識(shí)蒸餾原理 6.3.2知識(shí)蒸餾示例 6.4CNN可視化 6.4.1中間激活可視化 6.4.2過濾器可視化 習(xí)題 第7章詞嵌入模型 7.1詞嵌入模型介紹 7.1.1獨(dú)熱碼 7.1.2詞嵌入 7.2詞嵌入學(xué)習(xí) 7.2.1詞嵌入學(xué)習(xí)的動(dòng)機(jī) 7.2.2Skip-Gram算法 7.2.3CBOW算法 7.2.4負(fù)采樣 7.2.5GloVe算法 7.3Word2Vec算法實(shí)現(xiàn) 7.3.1Skip-Gram實(shí)現(xiàn) 7.3.2CBOW實(shí)現(xiàn) 7.3.3負(fù)采樣Skip-Gram實(shí)現(xiàn) 習(xí)題 第8章循環(huán)神經(jīng)網(wǎng)絡(luò)原理 8.1RNN介紹 8.1.1有記憶的神經(jīng)網(wǎng)絡(luò) 8.1.2RNN用途 8.2基本RNN模型 8.2.1基本RNN原理 8.2.2基本RNN的訓(xùn)練問題 8.2.3基本RNN編程 8.2.4基本RNN示例 8.3LSTM 8.3.1LSTM原理 8.3.2LSTM編程 8.4GRU 8.4.1GRU原理 8.4.2GRU編程 8.5注意力機(jī)制 8.5.1Seq2Seq模型的缺陷 8.5.2機(jī)器翻譯中的注意力機(jī)制 8.6Transformer模型 8.6.1編碼器 8.6.2多頭注意力層 8.6.3前向?qū)? 8.6.4位置編碼 8.6.5解碼器 8.6.6解碼器層 8.6.7Transformer的PyTorch實(shí)現(xiàn) 習(xí)題 第9章NLP示例 9.1情感分析 9.1.1AGNEWS示例 9.1.2Quora競賽示例 9.2語言模型 9.3文本序列數(shù)據(jù)生成 9.3.1向莎士比亞學(xué)寫詩 9.3.2神經(jīng)機(jī)器翻譯 習(xí)題 參考文獻(xiàn)