掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
分寸 跨越社交圈層的底層邏輯
-
>
生命唯愿愛與自由
-
>
中國式人情世故
-
>
看心理·第2輯(全5冊)
-
>
心靈四書(全4冊)
-
>
非暴力溝通
-
>
往里走,安頓自己
深度學習筆記 版權信息
- ISBN：9787301161227
- 條形碼：9787301161227 ; 978-7-301-16122-7
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
深度學習筆記 本書特色
作者以學習者的身份和過來人的角度來談深度學習，對于廣大想要入門深度學習而不知方法路徑的讀者而言很有指導價值，筆記二字也能快速拉近與讀者的距離。 —— 有三AI創始人 言有三 作為一本深度學習入門書籍，這本深度學習筆記幾乎覆蓋了大多數深度學習知識體系，從DNN到CNN再到RNN，分別對應神經網絡理論基礎、計算機視覺和自然語言處理，作者以學習者和從業者的身份告訴大家深度學習怎樣學，從提綱挈領到入微細節，是一本深度學習入門好書。 —— 華東師范大學統計學院 湯銀才教授 當我們談起人工智能時，可能很多人都覺得它很專業而且離我們很遙遠。我們付款可以刷臉了，寂寞的時候可以和Siri聊天，帶一只翻譯筆就可以解決跨國語言交流障礙，打開一個頁面瞬間都是我們喜歡的內容，看完這些后，你還會覺得遙遠嗎？很顯然，不遙遠。這些就是人工智能的杰作。 人工智能是一個泛泛的概念，也有人稱為機器學習，通俗的解釋就是讓機器像人類一樣思考、做事，而深度學習就是人工智能的核心技術之一，多數人面對學習深度學習都感到很恐懼，認為太專業了、太深奧了，根本不可能啃動！那我建議你先看看這本深度學習的筆記，整本書通俗易懂、風趣幽默，實戰性強，相信你也能快速掌握這門人工智能的核心技術。 ——愛數圈創始人、知名數據大V 鄧凱
深度學習筆記 內容簡介
《深度學習筆記》作為一本以“筆記”命名的深度學習圖書，主要定位是面向廣大希望入門深度學習的初學者。本書以深度神經網絡(DNN)、卷積神經網絡(CNN)和循環神經網絡(RNN)為核心，詳細介紹了深度學習的理論基礎、通用方法和三大網絡的原理與實踐。全書代碼以Keras框架作為范例，對于初學者而言簡單易懂。 對于深度學習而言，本書內容豐富，知識覆蓋面廣，兼有代碼實戰,適合想要入門深度學習的廣大學習者閱讀。
深度學習筆記 目錄
第1講神經網絡與深度學習1
1.1機器學習與深度學習的關系2
1.2感知機與神經網絡3
第2講神經網絡的過擬合與正則化7
2.1機器學習的核心要義8
2.2范數與正則化9
2.3神經網絡的正則化和Dropout11
第3講深度學習的優化算法14
3.1機器學習的數學規約15
3.2損失函數和深度學習優化算法15
3.3梯度下降法16
3.4從Momentum到Adam18
第4講卷積神經網絡21
4.1CNN發展簡史與相關人物22
4.2卷積的含義23
4.3池化和全連接26
深度學習筆記目錄第5講CNN圖像學習過程與可視化28
5.1CNN的直觀理解29
5.2CNN圖像學習的可視化31
第6講CNN圖像分類：從LeNet5到EfficientNet37
6.1計算機視覺的三大任務38
6.2CNN圖像分類發展史39
第7講CNN目標檢測：從RCNN到YOLO47
7.1目標檢測概述48
7.2CNN目標檢測算法49
第8講CNN圖像分割：從FCN到U-Net56
8.1語義分割和實例分割概述57
8.2語義分割58
第9講遷移學習理論與實踐65
9.1遷移學習：深度學習未來五年的驅動力？66
9.2遷移學習的使用場景66
9.3深度卷積網絡的可遷移性67
9.4遷移學習的使用方法68
9.5基于ResNet的遷移學習實驗68
第10講循環神經網絡76
10.1從語音識別到自然語言處理77
10.2RNN：網絡架構與技術79
10.3四種RNN結構81
第11講長短期記憶網絡84
11.1深度神經網絡的困擾：梯度爆炸與梯度消失85
11.2LSTM：讓RNN具備更好的記憶機制87
第12講自然語言處理與詞向量91
12.1自然語言處理簡介92
12.2詞匯表征93
12.3詞向量與語言模型94
第13講word2vec詞向量98
13.1word2vec99
13.2word2vec的訓練過程：以CBOW為例100
第14講seq2seq與注意力模型104
14.1seq2seq的簡單介紹105
14.2注意力模型105
14.3基于seq2seq和Attention機制的機器翻譯實踐108
第15講語音識別118
15.1概述119
15.2信號處理與特征提取120
15.3傳統聲學模型122
15.4基于深度學習的聲學模型123
15.5端到端的語音識別系統簡介125
第16講從Embedding到XLNet：NLP預訓練模型簡介127
16.1從Embedding到ELMo128
16.2特征提取器：Transformer129
16.3低調王者：GPT131
16.4封神之作：BERT131
16.5持續創新：XLNet132
第17講深度生成模型之自編碼器134
17.1自編碼器135
17.2自編碼器的降噪作用136
17.3變分自編碼器138
17.4VAE的Keras實現143
第18講深度生成模型之生成式對抗網絡148
18.1GAN149
18.2訓練一個DCGAN151
第19講神經風格遷移、深度強化學習與膠囊網絡159
19.1神經風格遷移160
19.2深度強化學習162
19.3膠囊網絡166
第20講深度學習框架171
20.1概述172
20.2TensorFlow173
20.3Keras175
20.4PyTorch176
第21講深度學習數據集179
21.1CV經典數據集180
21.2NLP經典數據集187
參考文獻189
展開全部
深度學習筆記 節選
第1講 神經網絡與深度學習 深度學習作為當前機器學習一個*熱門的發展方向，仍然保持著傳統機器學習方法的理念與特征。從有監督學習的角度來看，深度學習與機器學習并無本質上的差異。隱藏層使得感知機能夠發展為擬合萬物的神經網絡模型，而反向傳播算法則是整個神經網絡訓練的核心要義。 1.1機器學習與深度學習的關系 深度學習筆記第1講神經網絡與深度學習想要學習深度學習，就要先溫習一下機器學習，弄清楚二者之間的關系。 簡單來說，機器學習就是從歷史數據中探索和訓練出數據的普遍規律，將其歸納為相應的數學模型，并對未知的數據進行預測的過程。至于在這個過程中所碰到的各種各樣的問題，如數據質量、模型評價標準、訓練優化方法、過擬合等一系列關乎機器學習模型生死的問題，在這里不做具體展開，讀者可自行補習相關的機器學習知識。 在機器學習中，有很多相當成熟的模型和算法。其中有一種很厲害的模型，那就是人工神經網絡。這種模型從早期的感知機發展而來，對任何函數都有較好的擬合性，但自20世紀90年代一直到2012年深度學習集中爆發前夕，神經網絡受制于計算資源的限制和較差的可解釋性，一直處于發展的低谷階段。之后大數據興起，計算資源也迅速跟上，加之2012年ImageNet競賽冠軍采用的AlexNet卷積神經網絡一舉將圖像分類的Top5錯誤率降至16.4%，震驚了當時的學界和業界。從此之后，原本處于研究邊緣狀態的神經網絡又迅速火熱了起來，深度學習也逐漸占據了計算機視覺的主導地位。 注意：這里有必要解釋一下模型和算法的概念，通常所說的像支持向量機（Support Vector Machine， SVM）之類的所謂機器學習十大算法其實不應該稱之為算法，更應該稱之為模型。機器學習算法應該是在給定模型和訓練策略的情況下采取的優化算法，如梯度下降法、牛頓法等。當然，一般情況下將機器學習中的模型和算法概念混在一起并沒有什么不妥之處，畢竟模型中本身就包含著計算規則的意思。 介紹了這么多，無非就是想讓大家知道，以神經網絡為核心的深度學習是機器學習的一個領域分支，所以深度學習在其本質上也必須遵循機器學習的基本要義和法則。在傳統的機器學習中，需要訓練的是結構化的數值數據，如預測銷售量、預測某人是否按時還款等。但在深度學習中，其訓練輸入就不再是常規的數值數據了，它可能是一張圖像、一段語言、一段對話語音或一段視頻。例如，深度學習要做的就是輸入一張狗的圖像到神經網絡中，它輸出的是狗或dog這樣的標簽；輸入一段語音到神經網絡中，它輸出的是如“你好”這樣的文本。綜上所述，可以看出機器學習（深度學習）的核心任務就是找（訓練）一個模型，它能夠將輸入轉化為正確的輸出。 1.2感知機與神經網絡 深度學習看起來就像是一個黑箱機制，輸入各種非結構化的數據之后出來預測結果。例如，輸入一段語音，輸出為“Hello，World！”這樣的文本；輸入一張狗的圖像，輸出為“狗”這樣的標簽；輸入一副棋盤和當前的局勢，輸出為下一步的走棋方式；輸入“你好！”這樣一句中文，輸出為“Hi!”這樣一句英文；等等。我們很難對輸入與輸出之間的模型轉化過程給出一個合理的解釋。在實際工作中，調用像TensorFlow這樣優秀的深度學習框架能夠快速搭建起一個深度學習項目，但在學習深度學習時，不建議大家一開始就上手各種深度學習框架，希望大家能和筆者一起，在把基本原理弄清楚之后利用Python自己手動去編寫模型和實現算法細節。 為了學習深度學習和各種結構的神經網絡，我們需要從頭開始。感知機作為神經網絡和支持向量機的理論基礎，一定要清楚其中的模型細節。簡單來說，感知機就是一個旨在建立一個線性超平面對線性可分的數據集進行分類的線性模型，其基本結構如圖1.1所示。 圖1.1感知機的基本結構圖1.1從左到右為感知機模型的計算執行方向，模型接受了x1、x2、x3三個輸入，將輸入與權值參數w進行加權求和并經過sigmoid函數進行激活，將激活結果y作為輸出，這便是感知機執行前向計算的基本過程。這樣就行了嗎？當然不行。剛剛只是解釋了模型，對策略和算法并未做出解釋。當執行完前向計算得到輸出之后，模型需要根據當前的輸出和實際的輸出按照損失函數計算當前損失，計算損失函數關于權值和偏置的梯度，然后根據梯度下降法更新權值和偏置，經過不斷地迭代調整權值和偏置使損失*小，這便是完整的單層感知機的訓練過程。圖1.2所示是輸入為圖像的感知機計算過程。 圖1.2輸入為圖像的感知機計算過程前面介紹的是單層感知機，單層感知機包含兩層神經元，即輸入與輸出神經元，可以非常容易地實現邏輯與、邏輯或和邏輯非等線性可分情形，但是單層感知機的學習能力是非常有限的，對于像異或問題這樣的線性不可分情形，單層感知機就搞不定了（所謂線性不可分，即對于輸入訓練數據，不存在一個線性超平面能夠將其進行線性分類）。其學習過程會出現一定程度的振蕩，權值參數w難以穩定下來，*終不能求得合適的解，異或問題如圖1.3(c)所示。 （a）x1 AND x2（b）x1 OR x2（c）x1 XOR x2圖1.3異或問題 對于線性不可分的情況，在感知機基礎上一般有兩個解決方向，一個是著名的支持向量機，旨在通過核函數映射來處理非線性的情況，而另一種就是神經網絡模型。這里的神經網絡模型也叫作多層感知機（MultiLayer Perceptron，MLP），圖1.4單隱藏層的神經網絡的結構與單層感知機在結構上的區別主要在于MLP多了若干隱藏層，這使得神經網絡能夠處理非線性問題。 一個單隱藏層的神經網絡的結構，如圖1.4所示。 從圖1.4中可以看出，相較于兩層神經元的單層感知機，該多層感知機中間多了一個隱藏層。何為隱藏層？即在神經網絡的訓練過程中只能觀察到輸入層和輸出層的數據，對于中間隱藏層的數據變化是看不見的，因而在深度神經網絡（Deep Neural Networks，DNN）中，將中間看不見又難以對其效果進行合理解釋的隱藏層稱為“黑箱子”。 含隱藏層的神經網絡是如何訓練的呢？與感知機一樣，神經網絡的訓練依然包含前向計算和反向傳播（Back Propaggtion，BP）兩個主要過程。當然，單層感知機沒有反向傳播這個概念，而是直接建立損失函數對權值和偏置參數進行梯度優化。簡單來說，前向計算就是權值偏置與輸入的線性加權和激活操作，在隱藏層上有個嵌套的過程。這里重點講解反向傳播算法（也稱為誤差逆傳播算法），作為神經網絡的訓練算法，反向傳播算法可謂是目前*成功的神經網絡學習算法。通常所說的BP神經網絡就是指應用反向傳播算法進行訓練的神經網絡模型。 那么，反向傳播算法的工作機制究竟是怎樣的呢？這里需要大家復習一下在大學本科階段學習的微積分知識。下面以一個兩層（單隱藏層）網絡為例，即圖1.4中的網絡結構，給大家詳細推導一下反向傳播的基本過程。 假設輸入層為x，輸入層與隱藏層之間的權值和偏置分別為w1和b1，線性加權計算結果為Z1=w1x+b1，采用sigmoid激活函數，激活輸出為a1=σ(Z1)。而隱藏層到輸出層的權值和偏置分別為w2和b2，線性加權計算結果為Z2=w2x+b2，激活輸出為a2=σ(Z2)。所以，這個兩層網絡的前向計算過程為x→Z1→a1→Z2→a2。 可以看出，反向傳播的直觀理解就是將前向計算過程反過來，但必須是梯度計算的方向反過來，假設這里采用如式（1.1）所示的交叉熵損失函數。 L（y,a）=-（yloga+（1-y）log（1-a））（1.1） 反向傳播是基于梯度下降策略的，主要是以目標參數的負梯度方向對參數進行更新，所以基于損失函數對前向計算過程中各個變量進行梯度計算就非常必要了。將前向計算過程反過來，那么基于損失函數的梯度計算順序就是da2→dZ2→dw2→db2→da1→dZ1→dw1→db1。下面從輸出a2開始進行反向推導,輸出層激活輸出為a2，那么首先計算損失函數L（y,a）關于a2的微分da2，影響輸出a2的是誰呢？由前向傳播可知，a2是由Z2經激活函數激活計算而來的，所以計算損失函數關于Z2的導數dZ2必須經由a2進行復合函數求導，即微積分上常說的鏈式求導法則。然后繼續往前推，影響Z2的又是哪些變量呢？由前向計算Z2=w2x+b2可知，影響Z2的有w2、a1和b2，繼續按照鏈式求導法則進行求導即可。*終以交叉熵損失函數為代表的兩層神經網絡的反向傳播向量化求導計算公式如下。
深度學習筆記 作者簡介
魯偉，貝葉斯統計方向碩士畢業，深度學習算法工程師，微信公眾號“機器學習實驗室”主編，對人工智能、機器學習、深度學習、醫學圖像處理和計算機視覺等有深入研究。
書友推薦
- >
【精裝繪本】畫給孩子的中國神話
- >
莉莉和章魚
- >
月亮與六便士
- >
苦雨齋序跋文-周作人自編集
- >
回憶愛瑪儂
- >
史學評論
- >
煙與鏡
- >
二體千字文
本類暢銷
