中图网(原中国图书网):网上书店,中文字幕在线一区二区三区,尾货特色书店,中文字幕在线一区,30万种特价书低至2折!

歡迎光臨中圖網 請 | 注冊
> >>
自然語言處理:基于預訓練模型的方法

包郵 自然語言處理:基于預訓練模型的方法

作者:車萬翔
出版社:電子工業出版社出版時間:2021-07-01
開本: 其他 頁數: 320
中 圖 價:¥82.6(7.0折) 定價  ¥118.0 登錄后可看到會員價
加入購物車 收藏
開年大促, 全場包郵
?新疆、西藏除外
本類五星書更多>

自然語言處理:基于預訓練模型的方法 版權信息

  • ISBN:9787121415128
  • 條形碼:9787121415128 ; 978-7-121-41512-8
  • 裝幀:一般膠版紙
  • 冊數:暫無
  • 重量:暫無
  • 所屬分類:>>

自然語言處理:基于預訓練模型的方法 本書特色

適讀人群 :具有一定機器學習基礎的高等院校學生、研究機構的研究者,以及希望深入研究自然語言處理算法的計算機工程師√ 本書得到歐洲科學院外籍院士、清華大學人工智能研究院常務副院長孫茂松教授作序。 √ 創新工場首席科學家、微軟亞洲研究院原副院長、中國計算機學會副理事長、國際計算語言學會(ACL)(2019年)主席周明老師,字節跳動人工智能實驗室總監李航教授,科大訊飛執行總裁胡郁老師傾力推薦。 √ 本書從基礎知識、預訓練詞向量、預訓練模型等幾大方面全面系統地介紹了預訓練語言模型技術。 √ 書中為代表性的模型提供了規范的示例代碼及實踐案例。 √ 本書采用全彩印刷,提供良好的閱讀體驗。

自然語言處理:基于預訓練模型的方法 內容簡介

自然語言處理被譽為“人工智能皇冠上的明珠”。深度學習等技術的引入為自然語言處理技術帶來了一場革命,尤其是近年來出現的基于預訓練模型的方法,已成為研究自然語言處理的新范式。本書在介紹自然語言處理、深度學習等基本概念的基礎上,重點介紹新的基于預訓練模型的自然語言處理技術。本書包括基礎知識、預訓練詞向量和預訓練模型三大部分:基礎知識部分介紹自然語言處理和深度學習的基礎知識和基本工具;預訓練詞向量部分介紹靜態詞向量和動態詞向量的預訓練方法及應用;預訓練模型部分介紹幾種典型的預訓練語言模型及應用,以及預訓練模型的近期新進展。除了理論知識,本書還有針對性地結合具體案例提供相應的PyTorch 代碼實現,不僅能讓讀者對理論有更深刻的理解,還能快速地實現自然語言處理模型,達到理論和實踐的統一。本書既適合具有一定機器學習基礎的高等院校學生、研究機構的研究者,以及希望深入研究自然語言處理算法的計算機工程師閱讀,也適合對人工智能、深度學習和自然語言處理感興趣的學生和希望進入人工智能應用領域的研究者參考。

自然語言處理:基于預訓練模型的方法 目錄

目錄

推薦序/III

推薦語/IV

前言/V

數學符號/IX

第1 章緒論/1

1.1 自然語言處理的概念/2

1.2 自然語言處理的難點/2

1.2.1 抽象性/ 2

1.2.2 組合性/ 2

1.2.3 歧義性/3

1.2.4 進化性/3

1.2.5 非規范性/3

1.2.6 主觀性/3

1.2.7 知識性/3

1.2.8 難移植性/4

1.3 自然語言處理任務體系/4

1.3.1 任務層級/4

1.3.2 任務類別/5

1.3.3 研究對象與層次/6

1.4 自然語言處理技術發展歷史/7


第2 章自然語言處理基礎/11

2.1 文本的表示/12

2.1.1 詞的獨熱表示/13

2.1.2 詞的分布式表示/13

2.1.3 詞嵌入表示/19

2.1.4 文本的詞袋表示 /19

2.2 自然語言處理任務 /20

2.2.1 語言模型/20

2.2.2 自然語言處理基礎任務/23

2.2.3 自然語言處理應用任務/31

2.3 基本問題 /35

2.3.1 文本分類問題/35

2.3.2 結構預測問題/ 36

2.3.3 序列到序列問題/38

2.4 評價指標/40

2.5 小結/43


第3 章基礎工具集與常用數據集45

3.1 NLTK 工具集/46

3.1.1 常用語料庫和詞典資源/46

3.1.2 常用自然語言處理工具集 /49

3.2 LTP 工具集/51

3.2.1 中文分詞/51

3.2.2 其他中文自然語言處理功能/52

3.3 PyTorch 基礎/52

3.3.1 張量的基本概念/53

3.3.2 張量的基本運算/54

3.3.3 自動微分/57

3.3.4 調整張量形狀/58

3.3.5 廣播機制/ 59

3.3.6 索引與切片/60

3.3.7 降維與升維 / 60

3.4 大規模預訓練數據 /61

3.4.1 維基百科數據/62

3.4.2 原始數據的獲取/62

3.4.3 語料處理方法/ 62

3.4.4 Common Crawl 數據/66

3.5 更多數據集 /66

3.6 小結 /68


第4 章自然語言處理中的神經網絡基礎/69

4.1 多層感知器模型/70

4.1.1 感知器/70

4.1.2 線性回歸 /71

4.1.3 Logistic 回歸/71

4.1.4 Softmax 回歸 /72

4.1.5 多層感知器 /74

4.1.6 模型實現 /76

4.2 卷積神經網絡/78

4.2.1 模型結構 /78

4.2.2 模型實現 /80

4.3 循環神經網絡/83

4.3.1 模型結構/ 83

4.3.2 長短時記憶網絡 / 85

4.3.3 模型實現/ 87

4.3.4 基于循環神經網絡的序列到序列模型/88

4.4 注意力模型 /89

4.4.1 注意力機制/89

4.4.2 自注意力模型/90

4.4.3 Transformer/ 91

4.4.4 基于Transformer 的序列到序列模型/93

4.4.5 Transformer 模型的優缺點/ 94

4.4.6 模型實現/94

4.5 神經網絡模型的訓練/96

4.5.1 損失函數/96

4.5.2 梯度下降 /98

4.6 情感分類實戰/101

4.6.1 詞表映射/101

4.6.2 詞向量層/ 102

4.6.3 融入詞向量層的多層感知器/103

4.6.4 數據處理/106

4.6.5 多層感知器模型的訓練與測試/108

4.6.6 基于卷積神經網絡的情感分類 / 109

4.6.7 基于循環神經網絡的情感分類/110

4.6.8 基于Transformer 的情感分類/111

4.7 詞性標注實戰 /113

4.7.1 基于前饋神經網絡的詞性標注 /114

4.7.2 基于循環神經網絡的詞性標注 /114

4.7.3 基于Transformer 的詞性標注/116

4.8 小結/116


第5 章靜態詞向量預訓練模型/119

5.1 神經網絡語言模型 /120

5.1.1 預訓練任務/120

5.1.2 模型實現/124

5.2 Word2vec 詞向量 /130

5.2.1 概述/ 130

5.2.2 負采樣/133

5.2.3 模型實現/134

5.3 GloVe 詞向量/140

5.3.1 概述/140

5.3.2 預訓練任務/140

5.3.3 參數估計/140

5.3.4 模型實現/141

5.4 評價與應用/143

5.4.1 詞義相關性/144

5.4.2 類比性/146

5.4.3 應用/147

5.5 小結/148


第6 章動態詞向量預訓練模型/151

6.1 詞向量——從靜態到動態/ 152

6.2 基于語言模型的動態詞向量預訓練/153

6.2.1 雙向語言模型/153

6.2.2 ELMo 詞向量/155

6.2.3 模型實現/156

6.2.4 應用與評價/169

6.3 小結/171


第7 章預訓練語言模型/173

7.1 概述/174

7.1.1 大數據/174

7.1.2 大模型/175

7.1.3 大算力/175

7.2 GPT /177

7.2.1 無監督預訓練/178

7.2.2 有監督下游任務精調/179

7.2.3 適配不同的下游任務/180

7.3 BERT/182

7.3.1 整體結構/182

7.3.2 輸入表示/ 183

7.3.3 基本預訓練任務/184

7.3.4 更多預訓練任務 /190

7.3.5 模型對比/194

7.4 預訓練語言模型的應用/194

7.4.1 概述/194

7.4.2 單句文本分類/195

7.4.3 句對文本分類/ 198

7.4.4 閱讀理解/201

7.4.5 序列標注/206

7.5 深入理解BERT /211

7.5.1 概述/ 211

7.5.2 自注意力可視化分析 / 212

7.5.3 探針實驗/ 213

7.6 小結/215


第8 章預訓練語言模型進階/217

8.1 模型優化 /218

8.1.1 XLNet/218

8.1.2 RoBERTa/223

8.1.3 ALBERT/227

8.1.4 ELECTRA/229

8.1.5 MacBERT/232

8.1.6 模型對比/234

8.2 長文本處理 /234

8.2.1 概述/234

8.2.2 Transformer-XL/235

8.2.3 Reformer/238

8.2.4 Longformer /242

8.2.5 BigBird/243

8.2.6 模型對比/244

8.3 模型蒸餾與壓縮 / 244

8.3.1 概述/244

8.3.2 DistilBERT /246

8.3.3 TinyBERT/ 248

8.3.4 MobileBERT /250

8.3.5 TextBrewer/252

8.4 生成模型/ 257

8.4.1 BART / 257

8.4.2 UniLM/260

8.4.3 T5 /263

8.4.4 GPT-3/264

8.4.5 可控文本生成 /265

8.5 小結/267


第9 章多模態融合的預訓練模型/269

9.1 多語言融合/ 270

9.1.1 多語言BERT /270

9.1.2 跨語言預訓練語言模型 /272

9.1.3 多語言預訓練語言模型的應用/273

9.2 多媒體融合/274

9.2.1 VideoBERT /274

9.2.2 VL-BERT / 275

9.2.3 DALL·E/ 275

9.2.4 ALIGN/276

9.3 異構知識融合/276

9.3.1 融入知識的預訓練/277

9.3.2 多任務學習 / 282

9.4 更多模態的預訓練模型/285

9.5 小結/ 285

參考文獻/287

術語表/297


展開全部

自然語言處理:基于預訓練模型的方法 節選

預訓練模型并不是自然語言處理領域的“首創”技術。在計算機視覺(ComputerVision,CV)領域,以ImageNet[14] 為代表的大規模圖像數據為圖像識別、圖像分割等任務提供了良好的數據基礎。因此,在計算機視覺領域,通常會使用ImageNet進行一次預訓練,讓模型從海量圖像中充分學習如何從圖像中提取特征。然后,會根據具體的目標任務,使用相應的領域數據精調,使模型進一步“靠近”目標任務的應用場景,起到領域適配和任務適配的作用。這好比人們在小學、初中和高中階段會學習數學、語文、物理、化學和地理等基礎知識,夯實基本功并構建基本的知識體系(預訓練階段)。而當人們步入大學后,將根據選擇的專業(目標任務)學習某一領域更深層次的知識(精調階段)。從以上介紹中可以看出,“預訓練+ 精調”模式在自然語言處理領域的興起并非偶然現象。 由于自然語言處理的核心在于如何更好地建模語言,所以在自然語言處理領域中,預訓練模型通常指代的是預訓練語言模型。廣義上的預訓練語言模型可以泛指提前經過大規模數據訓練的語言模型,包括早期的以Word2vec、GloVe 為代表的靜態詞向量模型,以及基于上下文建模的CoVe、ELMo 等動態詞向量模型。在2018 年,以GPT 和BERT 為代表的基于深層Transformer 的表示模型出現后,預訓練語言模型這個詞才真正被大家廣泛熟知。因此,目前在自然語言處理領域中提到的預訓練語言模型大多指此類模型。預訓練語言模型的出現使得自然語言處理進入新的時代,也被認為是近些年來自然語言處理領域中的里程碑事件。相比傳統的文本表示模型,預訓練語言模型具有“三大”特點——大數據、大模型和大算力。接下來介紹這“三大”特點代表的具體含義。 1. 大數據 “工欲善其事,必先利其器。”要想學習更加豐富的文本語義表示,就需要獲取文本在不同上下文中出現的情況,因此大規模的文本數據是必不可少的。獲取足夠多的大規模文本數據是訓練一個好的預訓練語言模型的開始。因此,預訓練數據需要講究“保質”和“保量”。 ??“保質”是希望預訓練語料的質量要盡可能高,避免混入過多的低質量語料。這與訓練普通的自然語言處理模型的標準基本是一致的; ??“保量”是希望預訓練語料的規模要盡可能大,從而獲取更豐富的上下文信息。 在實際情況中,預訓練數據往往來源不同。精細化地預處理所有不同來源的數據是非常困難的。因此,在預訓練數據的準備過程中,通常不會進行非常精細化地處理,僅會預處理語料的共性問題。同時,通過增大語料規模進一步稀釋低質量語料的比重,從而降低質量較差的語料對預訓練過程帶來的負面影響。 2. 大模型 在有了大數據后,就需要有一個足以容納這些數據的模型。數據規模和模型規模在一定程度上是正相關的。當在小數據上訓練模型時,通常模型的規模不會太大,以避免出現過擬合現象。而當在大數據上訓練模型時,如果不增大模型規模,可能會造成新的知識無法存放的情況,從而無法完全涵蓋大數據中豐富的語義信息。因此,需要一個容量足夠大的模型來學習和存放大數據中的各種特征。在機器學習中,“容量大”通常指的是模型的“參數量大”。那么,如何設計這樣一個參數量較大的模型呢?這里主要考慮以下兩個方面。 ?? 模型需要具有較高的并行程度,以彌補大模型帶來的訓練速度下降的問題; ?? 模型能夠捕獲并構建上下文信息,以充分挖掘大數據文本中豐富的語義信息。 綜合以上兩點條件,基于Transformer 的神經網絡模型成為目前構建預訓練語言模型的*佳選擇。首先,Transformer 模型具有較高的并行程度。Transformer 核心部分的多頭自注意力機制(Multi-head Self-attention)[15] 不依賴于順序建模,因此可以快速地并行處理。與此相反,傳統的神經網絡語言模型通常基于循環神經網絡(RNN),而RNN 需要按照序列順序處理,并行化程度較低。其次,Transformer 中的多頭自注意力機制能夠有效地捕獲不同詞之間的關聯程度,并且能夠通過多頭機制從不同維度刻畫這種關聯程度,使得模型能夠得到更加精準的計算結果。因此,主流的預訓練語言模型無一例外都使用了Transformer 作為模型的主體結構。 3. 大算力 即使擁有了大數據和大模型,但如果沒有與之相匹配的大算力,預訓練語言模型也很難得以實現。為了訓練預訓練語言模型,除了大家熟知的深度學習計算設備——圖形處理單元(Graphics Processing Unit, GPU),還有后起之秀——張量處理單元(Tensor Processing Unit, TPU)。下面就這兩種常見的深度學習計算設備進行簡單的介紹。

自然語言處理:基于預訓練模型的方法 作者簡介

車萬翔 博士,哈爾濱工業大學計算學部長聘教授、博士生導師,社會計算與信息檢索研究中心副主任。教育部青年長江學者,黑龍江省“龍江學者”青年學者,斯坦福大學訪問學者,F任中國中文信息學會計算語言學專業委員會副主任兼秘書長;國際計算語言學學會亞太分會(AACL)執委兼秘書長;中國計算機學會高級會員。在ACL、EMNLP、AAAI、IJCAI等國內外高水平期刊和會議上發表學術論文50余篇,其中AAAI 2013年的文章獲得了最佳論文提名獎,論文累計被引用4,600余次(Google Scholar數據),H-index值為37。出版教材 2 部,譯著 2 部。目前承擔2030“新一代人工智能”重大項目課題、國家自然科學基金等多項科研項目。負責研發的語言技術平臺(LTP)已被600余家單位共享,提供的在線“語言云”服務已有用戶1萬余人,并授權給百度、騰訊、華為等公司使用。2018、2019連續兩年獲CoNLL國際評測No.1。2020年獲黑龍江省青年科技獎;2015、2016連續兩年獲Google Focused Research Award(谷歌專注研究獎);2016年獲黑龍江省科技進步一等獎(排名第2);2012年獲黑龍江省技術發明獎二等獎(排名第2);2010年獲中國中文信息學會“錢偉長”中文信息處理科學技術獎一等獎(排名第2)、首屆漢王青年創新獎(個人)等多項獎勵。2017年,所主講的MOOC課程《高級語言程序設計(Python)》獲國家精品在線開放課程。 郭江 麻省理工學院計算機科學與人工智能實驗室,博士后研究員。畢業于哈爾濱工業大學社會計算與信息檢索研究中心,約翰斯·霍普金斯大學聯合培養博士,研究方向為自然語言處理與機器學習。在人工智能、自然語言處理領域國際重要會議及期刊(如ACL、EMNLP、AAAI等)發表論文20余篇。是被業界廣泛應用的中文語言技術平臺LTP的主要研發者之一。2015年,獲百度獎學金;2018年,獲中文信息學會“優秀博士學位論文”提名獎。 崔一鳴 科大訊飛北京研究院副院長、資深級主管研究員。畢業于哈爾濱工業大學,獲工學學士和碩士學位,并繼續攻讀博士學位。主要從事閱讀理解、預訓練模型等自然語言處理相關領域的核心技術研究工作,致力于推動中文機器閱讀理解和中文預訓練模型的研究與發展。曾多次獲得機器翻譯、機器閱讀理解、自然語言理解評測冠軍,其中包括機器閱讀理解權威評測SQuAD、自然語言理解權威評測GLUE等。所研制的中文閱讀理解及預訓練模型開源項目被業界廣泛應用,在GitHub累計獲得1萬以上星標,HuggingFace平臺月均調用量達到100萬次。發表學術論文30余篇(包括ACL、EMNLP、AAAI等高水平論文),申請發明專利20余項。擔任EMNLP 2021和NLPCC 2021領域主席,擔任NLP和AI領域頂級國際會議和國際ESI期刊審稿人職務。

商品評論(0條)
暫無評論……
書友推薦
編輯推薦
返回頂部
中圖網
在線客服
主站蜘蛛池模板: 无负压供水设备,消防稳压供水设备-淄博创辉供水设备有限公司 | 植筋胶-粘钢胶-碳纤维布-碳纤维板-环氧砂浆-加固材料生产厂家-上海巧力建筑科技有限公司 | 博莱特空压机|博莱特-阿特拉斯独资空压机品牌核心代理商 | 绿叶|绿叶投资|健康产业_绿叶投资集团有限公司 | 安徽泰科检测科技有限公司【官方网站】 | 环比机械| 食品质构分析仪-氧化诱导分析仪-瞬态法导热系数仪|热冰百科 | 无机纤维喷涂棉-喷涂棉施工工程-山东华泉建筑工程有限公司▲ | 无刷电机_直流无刷电机_行星减速机-佛山市藤尺机电设备有限公司 无菌检查集菌仪,微生物限度仪器-苏州长留仪器百科 | 高低温万能试验机_拉力试验机_拉伸试验机-馥勒仪器科技(上海)有限公司 | 北京晚会活动策划|北京节目录制后期剪辑|北京演播厅出租租赁-北京龙视星光文化传媒有限公司 | 泥浆在线密度计厂家-防爆数字压力表-膜盒-远传压力表厂家-江苏大亚自控设备有限公司 | 3dmax渲染-效果图渲染-影视动画渲染-北京快渲科技有限公司 | 青岛球场围网,青岛车间隔离网,青岛机器人围栏,青岛水源地围网,青岛围网,青岛隔离栅-青岛晟腾金属制品有限公司 | 光栅尺_Magnescale探规_磁栅尺_笔式位移传感器_苏州德美达 | 带压开孔_带压堵漏_带压封堵-菏泽金升管道工程有限公司 | 上海租车公司_上海包车_奔驰租赁_上海商务租车_上海谐焕租车 | 北京自然绿环境科技发展有限公司专业生产【洗车机_加油站洗车机-全自动洗车机】 | 石家庄装修设计_室内家装设计_别墅装饰装修公司-石家庄金舍装饰官网 | 成都珞石机械 - 模温机、油温机、油加热器生产厂家 | 微动开关厂家-东莞市德沃电子科技有限公司 | 炒货机-炒菜机-炒酱机-炒米机@霍氏机械 | 快速门厂家批发_PVC快速卷帘门_高速门_高速卷帘门-广州万盛门业 快干水泥|桥梁伸缩缝止水胶|伸缩缝装置生产厂家-广东广航交通科技有限公司 | 超声骨密度仪-骨密度检测仪-经颅多普勒-tcd仪_南京科进实业有限公司 | 广州监控安装公司_远程监控_安防弱电工程_无线wifi覆盖_泉威安防科技 | 青岛侦探_青岛侦探事务所_青岛劝退小三_青岛调查出轨取证公司_青岛婚外情取证-青岛探真调查事务所 | 专业生物有机肥造粒机,粉状有机肥生产线,槽式翻堆机厂家-郑州华之强重工科技有限公司 | 净化工程_无尘车间_无尘车间装修-广州科凌净化工程有限公司 | 自动配料系统_称重配料控制系统厂家 | 日本SMC气缸接头-速度控制阀-日本三菱伺服电机-苏州禾力自动化科技有限公司 | 润滑脂-高温润滑脂-轴承润滑脂-食品级润滑油-索科润滑油脂厂家 | 北京网络营销推广_百度SEO搜索引擎优化公司_网站排名优化_谷歌SEO - 北京卓立海创信息技术有限公司 | 北京浩云律师事务所-企业法律顾问_破产清算等公司法律服务 | 瑞典Blueair空气净化器租赁服务中心-专注新装修办公室除醛去异味服务! | 高压直流电源_特种变压器_变压器铁芯-希恩变压器定制厂家 | 小程序开发公司-小程序制作-微信小程序开发-小程序定制-咏熠软件 | 背压阀|减压器|不锈钢减压器|减压阀|卫生级背压阀|单向阀|背压阀厂家-上海沃原自控阀门有限公司 本安接线盒-本安电路用接线盒-本安分线盒-矿用电话接线盒-JHH生产厂家-宁波龙亿电子科技有限公司 | 电竞学校_电子竞技培训学校学院-梦竞未来电竞学校官网 | 超细粉碎机|超微气流磨|气流分级机|粉体改性设备|超微粉碎设备-山东埃尔派粉碎机厂家 | 学考网学历中心| 算命免费_生辰八字_免费在线算命 - 卜算子算命网 |