-
>
闖進(jìn)數(shù)學(xué)世界――探秘歷史名題
-
>
中醫(yī)基礎(chǔ)理論
-
>
當(dāng)代中國政府與政治(新編21世紀(jì)公共管理系列教材)
-
>
高校軍事課教程
-
>
思想道德與法治(2021年版)
-
>
毛澤東思想和中國特色社會(huì)主義理論體系概論(2021年版)
-
>
中醫(yī)內(nèi)科學(xué)·全國中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材
自然語言理解 版權(quán)信息
- ISBN:9787302627784
- 條形碼:9787302627784 ; 978-7-302-62778-4
- 裝幀:平裝
- 冊(cè)數(shù):暫無
- 重量:暫無
- 所屬分類:>>
自然語言理解 本書特色
本書適合作為高校學(xué)校相關(guān)專業(yè)高年級(jí)本科生和研究生的自然語言理解相關(guān)課程的教材,同時(shí)可供自然語言理解研究人員閱讀參考。
自然語言理解 內(nèi)容簡介
本書系統(tǒng)介紹自然語言處理(即自然語言理解)的經(jīng)典和前沿技術(shù)內(nèi)容,包括學(xué)科發(fā)展的簡要背景、 基礎(chǔ)的建模方法和典型的語言處理任務(wù)。本書圍繞語言模型展開并貫穿其中,包括 n元語言模型、連續(xù)空 間語言模型(詞嵌入)以及前沿的預(yù)訓(xùn)練語言模型。 現(xiàn)代自然語言處理建立在機(jī)器學(xué)習(xí)的基礎(chǔ)之上。無論針對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)還是針對(duì)現(xiàn)代深度學(xué)習(xí),本書 統(tǒng)一以結(jié)構(gòu)化學(xué)習(xí)的脈絡(luò)展開,統(tǒng)一闡述典型的語言處理任務(wù)的普遍性機(jī)器學(xué)習(xí)建模方式,包括詞切分、 序列標(biāo)注以及樹結(jié)構(gòu)解析。同時(shí),本書以一種統(tǒng)一的觀點(diǎn)梳理機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法的要點(diǎn),服務(wù)于自 然語言處理任務(wù)的建模方法。*后,本書綜述了經(jīng)典和前沿的語言處理任務(wù):句法分析、語義分析、閱讀 理解和大語言模型。以閱讀理解為代表的自然語言理解任務(wù)賦予傳統(tǒng)的學(xué)科自然語言理解新的內(nèi)涵。 本書適合作為高等學(xué)校相關(guān)專業(yè)高年級(jí)本科生和研究生的自然語言理解相關(guān)課程的教材,也可供自然 語言理解研究人員閱讀參考。
自然語言理解 目錄
參考文獻(xiàn)25 第 2章 n元語言模型.27 2.1概率論基礎(chǔ).27 2.2語言模型用于語言生成 29 2.3 n元語言模型的工作方式及馬爾可夫假設(shè) .30 2.3.1 n元機(jī)制 .30 2.3.2馬爾可夫假設(shè).31 2.4評(píng)價(jià)指標(biāo):困惑度.32 2.5 n元語言模型的平滑方法.33 2.5.1 Laplace平滑(加一平滑)34 2.5.2 Good-Turing平滑 35 2.5.3 Jelinek-Mercer平滑 .36 2.5.4 Katz平滑37 2.5.5 Kneser-Ney平滑 37 2.5.6 Pitman-Yor語言模型 .39 2.6非 n元機(jī)制的平滑方法 .41 2.6.1緩存 41 2.6.2跳詞 41 2.6.3聚類 42 2.7平滑方法的經(jīng)驗(yàn)結(jié)果 .43 2.8 n元語言模型的建模工具.44 參考文獻(xiàn)45 XII自然語言理解
第 3章語言編碼表示 .47 3.1獨(dú)熱表示 47 3.2特征函數(shù) 49 3.3通用特征模板 .52 3.4加權(quán)的獨(dú)熱表示:TF-IDF.53
參考文獻(xiàn)55 第 4章非監(jiān)督的結(jié)構(gòu)化學(xué)習(xí) .56 4.1自然語言處理的方法構(gòu)成.56 4.2簡單任務(wù):詞/子詞切分 58 4.3切分算法 58 4.3.1通用切分框架.58 4.3.2全局優(yōu)度*大化:Viterbi解碼算法 .59 4.3.3局部優(yōu)度*大化:貪心解碼算法 59 4.4優(yōu)度度量 60 4.4.1頻率 60 4.4.2鄰接多樣性 61 4.4.3分支熵.62 4.4.4描述長度增益.63 4.4.5點(diǎn)互信息 .63 4.4.6學(xué)生 t測(cè)試64 4.5非監(jiān)督分詞.64 4.5.1數(shù)據(jù)集和評(píng)估指標(biāo) 64 4.5.2詞典預(yù)處理技巧 .65 4.5.3性能 66 4.6推廣的字節(jié)對(duì)編碼切分算法 .67
參考文獻(xiàn)67 第 5章結(jié)構(gòu)化學(xué)習(xí) 69 5.1機(jī)器學(xué)習(xí)的粒度和語言單元 .69 5.2結(jié)構(gòu)化學(xué)習(xí)的必要性 .72 5.3自然語言處理中的結(jié)構(gòu)化學(xué)習(xí)任務(wù) .74 5.4退化為分類任務(wù) 76 5.5結(jié)構(gòu)分解 78 5.6共時(shí)結(jié)構(gòu)分解:圖模型 78 5.7歷時(shí)結(jié)構(gòu)分解:轉(zhuǎn)移模型.82 5.8兩類結(jié)構(gòu)化分解方式的優(yōu)劣 .83 5.9結(jié)構(gòu)化學(xué)習(xí)的簡化情形 84
參考文獻(xiàn)85 目錄 XIII
第 6章結(jié)構(gòu)上的標(biāo)注任務(wù) 86 6.1從結(jié)構(gòu)標(biāo)注到序列標(biāo)注 86 6.2局部馬爾可夫模型.88 6.3全局馬爾可夫模型和條件隨機(jī)場(chǎng).90 6.3.1全局馬爾可夫模型 90 6.3.2馬爾可夫隨機(jī)場(chǎng) .91 6.3.3條件隨機(jī)場(chǎng) 92 6.4隱馬爾可夫模型 95 6.4.1從馬爾可夫鏈到隱馬爾可夫模型 95 6.4.2隱馬爾可夫模型的基本計(jì)算任務(wù):概率估計(jì) .96 6.4.3隱馬爾可夫模型的訓(xùn)練:參數(shù)估計(jì).99 6.4.4隱馬爾可夫模型的解碼:Viterbi算法99 6.5自然語言處理中的結(jié)構(gòu)標(biāo)注任務(wù). 100 6.5.1再標(biāo)注的序列標(biāo)注任務(wù) . 100 6.5.2詞性標(biāo)注任務(wù)的隱馬爾可夫模型實(shí)現(xiàn)示例. 102 6.5.3推廣的分詞建模:不等單元的結(jié)構(gòu)分解 105
參考文獻(xiàn) 107 第 7章機(jī)器學(xué)習(xí)模型 . 109 7.1機(jī)器學(xué)習(xí)模型的要素配置. 109 7.2損失函數(shù) 111 7.3 k近鄰方法 . 116 7.4感知機(jī) . 119 7.5鉸鏈損失與支持向量機(jī) 124 7.5.1*大化間隔 125 7.5.2懲罰項(xiàng)導(dǎo)出的軟邊界. 128 7.5.3映射到高維空間 . 129 7.5.4核函數(shù). 132 7.5.5支持向量機(jī)的訓(xùn)練算法 . 134 7.5.6多類支持向量機(jī) . 136 7.5.7支持向量機(jī)工具包 136 7.5.8支持向量機(jī)總結(jié) . 138 7.6交叉熵?fù)p失與*大熵模型. 138 7.6.1*大似然估計(jì):對(duì)數(shù)-線性模型 139 7.6.2*大熵原理 143 7.6.3平滑 145 7.6.4*大熵模型的工具包. 146 7.7從神經(jīng)元學(xué)習(xí)到神經(jīng)網(wǎng)絡(luò). 146 參考文獻(xiàn) 147 XIV自然語言理解
第 8章深度學(xué)習(xí)模型 . 150 8.1表示學(xué)習(xí) 152 8.2連續(xù)空間語言模型:詞嵌入或詞向量 154 8.2.1連續(xù)空間語言模型 154 8.2.2連續(xù)空間語言模型的機(jī)器學(xué)習(xí)解釋. 156 8.2.3 Word2Vec和 GloVe詞嵌入 159 8.2.4評(píng)估詞向量 162 8.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)配置 . 167 8.3.1神經(jīng)網(wǎng)絡(luò)的拓?fù)溥B接方式 168 3.3.2激活函數(shù) . 170 8.4深度學(xué)習(xí)模型的訓(xùn)練 . 175 8.4.1訓(xùn)練目標(biāo):輸出表示和損失函數(shù) 175 8.4.2誤差反向傳播算法 178 8.4.3深度學(xué)習(xí)的訓(xùn)練管理器 . 179 8.5編碼器-解碼器建模 . 180 8.6編碼器架構(gòu):循環(huán)神經(jīng)網(wǎng)絡(luò) . 183 8.6.1循環(huán)神經(jīng)網(wǎng)絡(luò)的 BPTT訓(xùn)練算法 185 8.6.2長短時(shí)記憶網(wǎng)絡(luò) . 186 8.7編碼器架構(gòu):卷積神經(jīng)網(wǎng)絡(luò) . 188 8.7.1卷積 189 8.7.2池化 190 8.7.3卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu). 191 8.8編碼器架構(gòu):Transformer . 192 8.8.1自注意力機(jī)制. 192 8.8.2 Transformer網(wǎng)絡(luò)結(jié)構(gòu) 193 8.9編碼器比較:RNN、CNN和 Transformer 196 8.10序列生成的解碼過程 196 8.11符號(hào)主義對(duì)陣聯(lián)結(jié)主義 199 8.12深度學(xué)習(xí)工具包 201
參考文獻(xiàn) 203 第 9章預(yù)訓(xùn)練語言模型 206 9.1從表示學(xué)習(xí)到自監(jiān)督學(xué)習(xí). 206 9.2從 n元語言模型到預(yù)訓(xùn)練語言模型 207 9.3輸入單元管理 . 211 9.4預(yù)訓(xùn)練語言模型的自回歸解釋 212 9.5以編輯操作定義自監(jiān)督學(xué)習(xí) . 216 9.6采樣與預(yù)測(cè)目標(biāo)的單元選擇 . 217 目錄 XV
9.7編碼器架構(gòu). 218 9.8預(yù)訓(xùn)練語言模型方法的普適化 220 9.9預(yù)訓(xùn)練語言模型的強(qiáng)化策略 . 221 9.9.1知識(shí)增強(qiáng) . 222 9.9.2多模態(tài)預(yù)訓(xùn)練語言模型 . 222 9.9.3模型優(yōu)化 . 224 9.10典型的預(yù)訓(xùn)練語言模型 224
參考文獻(xiàn) 228 第 10章句法分析 232 10.1句法分析概要 233 10.2成分/短語句法分析 . 235 10.2.1喬姆斯基文法層次體系 235 10.2.2上下文無關(guān)文法 237 10.2.3概率上下文無關(guān)文法 242 10.3依存句法 246 10.3.1帶中心詞標(biāo)注的成分句法 . 246 10.3.2依存結(jié)構(gòu) 247 10.3.3成分/短語結(jié)構(gòu)到依存結(jié)構(gòu)的轉(zhuǎn)換 . 248 10.4句法標(biāo)注語料:樹庫 250 10.5成分/短語句法分析算法. 251 10.5.1 CYK算法 251 10.5.2 Earley算法 254 10.6依存句法分析算法 . 255 10.6.1基于圖模型的依存句法分析 255 10.6.2基于轉(zhuǎn)換模型的依存句法分析 259 10.6.3非投影型依存分析 . 261 10.7句法分析的深度學(xué)習(xí)方法改進(jìn) 264 10.8依存分析的序列到序列建模 266 10.9從容易優(yōu)先分析到全局貪心分析 . 267 10.10句法分析的經(jīng)驗(yàn)結(jié)果 270
參考文獻(xiàn) 272 第 11章語義角色標(biāo)注 . 279 11.1從語義分析到語義角色標(biāo)注 279 11.2句法分析樹上的語義圖 281 11.3語義角色標(biāo)注的規(guī)范和語料 283 11.4語義角色標(biāo)注的建模方式 . 285 XVI自然語言理解
11.5句法特征集成:傳統(tǒng)機(jī)器學(xué)習(xí)模型 291 11.6句法編碼器:深度學(xué)習(xí)模型 292 11.7句法裁剪 297 11.8統(tǒng)一建模成分和依存語義角色標(biāo)注 299 11.9語義角色標(biāo)注中的句法角色變遷 . 300 11.10語義角色標(biāo)注的經(jīng)驗(yàn)結(jié)果 . 303
參考文獻(xiàn) 304 第 12章機(jī)器閱讀理解 . 307 12.1機(jī)器閱讀理解任務(wù)的類型和評(píng)價(jià)指標(biāo) 308 12.2機(jī)器閱讀理解的深度學(xué)習(xí)建模 310 12.2.1編碼器 312 12.2.2解碼器 314 12.3對(duì)話理解 317 12.4面向推理的閱讀理解 319 12.5常識(shí)問答 320 12.6開放域問答 . 322
參考文獻(xiàn) 325 第 13章大語言模型及其前沿應(yīng)用 334 13.1腦計(jì)劃與預(yù)訓(xùn)練語言模型 . 334 13.2從預(yù)訓(xùn)練語言模型到大語言模型 . 336 13.3從提示學(xué)習(xí)到思維鏈推理 . 343 13.4對(duì)話式大語言模型 ChatGPT . 349 13.5知識(shí)邊界 356
參考文獻(xiàn) 363 后記. 366
- >
月亮虎
- >
二體千字文
- >
推拿
- >
中國人在烏蘇里邊疆區(qū):歷史與人類學(xué)概述
- >
煙與鏡
- >
【精裝繪本】畫給孩子的中國神話
- >
巴金-再思錄
- >
山海經(jīng)