神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí):案例與實(shí)踐 版權(quán)信息
- ISBN:9787111711971
- 條形碼:9787111711971 ; 978-7-111-71197-1
- 裝幀:一般膠版紙
- 冊(cè)數(shù):暫無(wú)
- 重量:暫無(wú)
- 所屬分類:>
神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí):案例與實(shí)踐 本書特色
豆瓣評(píng)分9.4、GitHub標(biāo)星1.57萬(wàn)的“蒲公英書”實(shí)踐篇。復(fù)旦大學(xué)邱錫鵬教授、百度飛槳研發(fā)團(tuán)隊(duì)聯(lián)袂奉獻(xiàn)。
神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí):案例與實(shí)踐 內(nèi)容簡(jiǎn)介
本書是《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》(蒲公英書)的配套實(shí)踐書,由復(fù)旦大學(xué)邱錫鵬教授和百度飛槳團(tuán)隊(duì)合作完成。本書在章節(jié)設(shè)計(jì)上和《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》一一對(duì)應(yīng),并以模型解讀+案例實(shí)踐的形式進(jìn)行介紹。模型解讀主要聚焦如何從零開始一步步實(shí)現(xiàn)深度學(xué)習(xí)中的各種模型和算法,并結(jié)合簡(jiǎn)單的任務(wù)來(lái)加深讀者對(duì)模型和算法的理解;案例實(shí)踐主要強(qiáng)調(diào)如何使用飛槳預(yù)定義API來(lái)更好地完成實(shí)際任務(wù),會(huì)涉及一些數(shù)據(jù)預(yù)處理問(wèn)題。建議讀者將本書和《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》結(jié)合閱讀,在動(dòng)手實(shí)踐中更深入地理解深度學(xué)習(xí)的模型和原理。
神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí):案例與實(shí)踐 目錄
序
前言
第1章實(shí)踐基礎(chǔ)1
1.1如何運(yùn)行本書的代碼.2
1.1.1本地運(yùn)行.2
1.1.2代碼下載與使用方法..3
1.1.3在線運(yùn)行.4
1.2張量..6
1.2.1創(chuàng)建張量.6
1.2.2張量的屬性..9
1.2.3張量與Numpy數(shù)組轉(zhuǎn)換..13
1.2.4張量的訪問(wèn)..13
1.2.5張量的運(yùn)算..16
1.3算子..20
1.3.1算子定義.21
1.3.2自動(dòng)微分機(jī)制..25
1.3.3預(yù)定義的算子..27
1.3.4本書中實(shí)現(xiàn)的算子..27
1.3.5本書中實(shí)現(xiàn)的優(yōu)化器..29
1.4本書中使用的數(shù)據(jù)集和實(shí)現(xiàn)的Dataset類..29
1.4.1數(shù)據(jù)集..29
1.4.2Dataset類..31
1.5本書中實(shí)現(xiàn)的Runner類.31
1.6小結(jié)..32
第2章機(jī)器學(xué)習(xí)概述33
2.1機(jī)器學(xué)習(xí)實(shí)踐五要素.34
2.1.1數(shù)據(jù)..35
2.1.2模型..36
2.1.3學(xué)習(xí)準(zhǔn)則.36
2.1.4優(yōu)化算法.37
2.1.5評(píng)價(jià)指標(biāo).37
2.2實(shí)現(xiàn)一個(gè)簡(jiǎn)單的線性回歸模型..38
2.2.1數(shù)據(jù)集構(gòu)建..38
2.2.2模型構(gòu)建.40
2.2.3損失函數(shù).42
2.2.4優(yōu)化器..43
2.2.5模型訓(xùn)練.45
2.2.6模型評(píng)價(jià).45
2.3多項(xiàng)式回歸..46
2.3.1數(shù)據(jù)集構(gòu)建:ToySin25..46
2.3.2模型構(gòu)建.48
2.3.3模型訓(xùn)練.49
2.3.4模型評(píng)價(jià).50
2.3.5通過(guò)引入正則化項(xiàng)來(lái)緩解過(guò)擬合..52
2.4構(gòu)建Runner類..53
2.5實(shí)踐:基于線性回歸的波士頓房?jī)r(jià)預(yù)測(cè).55
2.5.1數(shù)據(jù)處理.55
2.5.2模型構(gòu)建.62
2.5.3完善Runner類:RunnerV1.62
2.5.4模型訓(xùn)練.63
2.5.5模型評(píng)價(jià).64
2.5.6模型預(yù)測(cè).64
2.6小結(jié)..65
第3章線性分類67
3.1基于Logistic回歸的二分類任務(wù).68
3.1.1數(shù)據(jù)集構(gòu)建..69
3.1.2模型構(gòu)建.71
3.1.3損失函數(shù).73
3.1.4模型優(yōu)化.74
3.1.5評(píng)價(jià)指標(biāo).77
3.1.6完善Runner類:RunnerV2.77
3.1.7模型訓(xùn)練.80
3.1.8模型評(píng)價(jià).82
3.2基于Softmax回歸的多分類任務(wù)..82
3.2.1數(shù)據(jù)集構(gòu)建..83
3.2.2模型構(gòu)建.86
3.2.3損失函數(shù).88
第3章線性分類67
3.1基于Logistic回歸的二分類任務(wù).68
3.1.1數(shù)據(jù)集構(gòu)建..69
3.1.2模型構(gòu)建.71
3.1.3損失函數(shù).73
3.1.4模型優(yōu)化.74
3.1.5評(píng)價(jià)指標(biāo).77
3.1.6完善Runner類:RunnerV2.77
3.1.7模型訓(xùn)練.80
3.1.8模型評(píng)價(jià).82
3.2基于Softmax回歸的多分類任務(wù)..82
3.2.1數(shù)據(jù)集構(gòu)建..83
3.2.2模型構(gòu)建.86
3.2.3損失函數(shù).88
3.2.4模型優(yōu)化.89
3.2.5模型訓(xùn)練.91
3.2.6模型評(píng)價(jià).92
3.3實(shí)踐:基于Softmax回歸完成鳶尾花分類任務(wù).92
3.3.1數(shù)據(jù)處理.93
3.3.2模型構(gòu)建.95
3.3.3模型訓(xùn)練.96
3.3.4模型評(píng)價(jià).96
3.3.5模型預(yù)測(cè).97
3.4小結(jié)..97
第4章前饋神經(jīng)網(wǎng)絡(luò)994.1神經(jīng)元.99
4.1.1凈活性值.100
4.1.2激活函數(shù).101
4.2基于前饋神經(jīng)網(wǎng)絡(luò)的二分類任務(wù)..104
4.2.1數(shù)據(jù)集構(gòu)建..105
4.2.2模型構(gòu)建.105
4.2.3損失函數(shù).108
4.2.4模型優(yōu)化.109
4.2.5完善Runner類:RunnerV2_1..115
4.2.6模型訓(xùn)練.117
4.2.7模型評(píng)價(jià).118
4.3自動(dòng)梯度計(jì)算和預(yù)定義算子.119
4.3.1利用預(yù)定義算子重新實(shí)現(xiàn)前饋神經(jīng)網(wǎng)絡(luò)..119
4.3.2完善Runner類:RunnerV2_2..120
4.3.3模型訓(xùn)練.122
4.3.4模型評(píng)價(jià).124
4.4優(yōu)化問(wèn)題.124
4.4.1參數(shù)初始化..124
4.4.2梯度消失問(wèn)題..126
4.4.3死亡ReLU問(wèn)題.129
4.5實(shí)踐:基于前饋神經(jīng)網(wǎng)絡(luò)完成鳶尾花分類任務(wù).130
4.5.1小批量梯度下降法..130
4.5.2數(shù)據(jù)處理.132
4.5.3模型構(gòu)建.133
4.5.4完善Runner類:RunnerV3.135
4.5.5模型訓(xùn)練.140
4.5.6模型評(píng)價(jià).142
4.5.7模型預(yù)測(cè).142
第5章卷積神經(jīng)網(wǎng)絡(luò)145
5.1卷積..146
5.1.1二維卷積運(yùn)算..146
5.1.2二維卷積算子..147
5.1.3卷積的變種..148
5.1.4帶步長(zhǎng)和零填充的二維卷積算子..149
5.1.5使用卷積運(yùn)算完成圖像邊緣檢測(cè)任務(wù).151
5.2卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)算子..152
5.2.1卷積層算子..152
5.2.2匯聚層算子..156
5.3基于LeNet實(shí)現(xiàn)手寫體數(shù)字識(shí)別任務(wù)..157
5.3.1數(shù)據(jù)集構(gòu)建..158
5.3.2模型構(gòu)建.161
5.3.3模型訓(xùn)練.164
5.3.4模型評(píng)價(jià).165
5.3.5模型預(yù)測(cè).165
5.4基于殘差網(wǎng)絡(luò)的手寫體數(shù)字識(shí)別..166
5.4.1模型構(gòu)建.167
5.4.2沒有殘差連接的ResNet18.173
5.4.3帶殘差連接的ResNet18.174
5.5實(shí)踐:基于ResNet18網(wǎng)絡(luò)完成圖像分類任務(wù)..175
5.5.1數(shù)據(jù)處理.176
5.5.2模型構(gòu)建.179
5.5.3模型訓(xùn)練.179
5.5.4模型評(píng)價(jià).181
5.5.5模型預(yù)測(cè).181
5.6小結(jié)..182
第6章循環(huán)神經(jīng)網(wǎng)絡(luò)183
6.1循環(huán)神經(jīng)網(wǎng)絡(luò)的記憶能力實(shí)驗(yàn)..184
6.1.1數(shù)據(jù)集構(gòu)建..185
6.1.2模型構(gòu)建.189
6.1.3模型訓(xùn)練.194
6.1.4模型評(píng)價(jià).196
6.2梯度爆炸實(shí)驗(yàn).196
6.2.1梯度打印函數(shù)..197
6.2.2復(fù)現(xiàn)梯度爆炸問(wèn)題..197
6.2.3使用梯度截?cái)嘟鉀Q梯度爆炸問(wèn)題..199
6.3LSTM的記憶能力實(shí)驗(yàn)..200
6.3.1模型構(gòu)建.202
6.3.2模型訓(xùn)練.204
6.3.3模型評(píng)價(jià).206
6.4實(shí)踐:基于雙向LSTM模型完成文本分類任務(wù).207
6.4.1數(shù)據(jù)處理.207
6.4.2模型構(gòu)建.212
6.4.3模型訓(xùn)練.214
6.4.4模型評(píng)價(jià).215
6.4.5模型預(yù)測(cè).216
6.5小結(jié)..216
第7章網(wǎng)絡(luò)優(yōu)化與正則化217
7.1小批量梯度下降法..218
7.2批大小的調(diào)整實(shí)驗(yàn)..218
7.3不同優(yōu)化算法的比較分析..221
7.3.1優(yōu)化算法的實(shí)驗(yàn)設(shè)定..222
7.3.2學(xué)習(xí)率調(diào)整..229
7.3.3梯度估計(jì)修正..235
7.3.4不同優(yōu)化器的3D可視化對(duì)比..240
7.4參數(shù)初始化..244
7.4.1基于固定方差的參數(shù)初始化.244
7.4.2基于方差縮
展開全部
神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí):案例與實(shí)踐 作者簡(jiǎn)介
邱錫鵬,復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授,國(guó)家優(yōu)青獲得者,于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和理學(xué)博士學(xué)位。主要從事自然語(yǔ)言處理、深度學(xué)習(xí)等方向的研究,發(fā)表CCF A/B類論文70余篇,獲得ACL 2017杰出論文獎(jiǎng)(CCF A類)、CCL 2019最佳論文獎(jiǎng),有4篇論文入選PaperDigest發(fā)布的IJCAI/ACL/EMNLP的最有影響力論文(各會(huì)議每年10篇)。主持開發(fā)了開源框架FudanNLP和FastNLP,這兩個(gè)框架已被國(guó)內(nèi)外數(shù)百家單位使用。2015年入選首屆中國(guó)科協(xié)青年人才托舉工程,2018年獲錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)獎(jiǎng)青年創(chuàng)新獎(jiǎng)一等獎(jiǎng),2020和2021年連續(xù)兩年入選由清華-中國(guó)工程院知識(shí)智能聯(lián)合研究中心發(fā)布的“AI 2000人工智能Q球Z具影響力提名學(xué)者”等。培養(yǎng)的學(xué)生曾獲中國(guó)中文信息學(xué)會(huì)優(yōu)博、中國(guó)人工智能學(xué)會(huì)優(yōu)博、上海市優(yōu)博、微軟學(xué)者、百度獎(jiǎng)學(xué)金等。 飛槳教材編寫組成員包括:安夢(mèng)濤、畢然、遲愷、程軍、呂健、李鵬、劉其文、林天揚(yáng)、馬艷軍、文燦、吳高升、吳蕾、汪慶輝、吳甜、徐彤彤、于佃海、張翰迪、張一超、張亞嫻