中图网(原中国图书网):网上书店,中文字幕在线一区二区三区,尾货特色书店,中文字幕在线一区,30万种特价书低至2折!

歡迎光臨中圖網(wǎng) 請 | 注冊
> >>
自然語言處理:基于預(yù)訓(xùn)練模型的方法

包郵 自然語言處理:基于預(yù)訓(xùn)練模型的方法

作者:車萬翔
出版社:電子工業(yè)出版社出版時(shí)間:2021-07-01
開本: 其他 頁數(shù): 320
中 圖 價(jià):¥82.6(7.0折) 定價(jià)  ¥118.0 登錄后可看到會員價(jià)
加入購物車 收藏
開年大促, 全場包郵
?新疆、西藏除外
本類五星書更多>

自然語言處理:基于預(yù)訓(xùn)練模型的方法 版權(quán)信息

自然語言處理:基于預(yù)訓(xùn)練模型的方法 本書特色

適讀人群 :具有一定機(jī)器學(xué)習(xí)基礎(chǔ)的高等院校學(xué)生、研究機(jī)構(gòu)的研究者,以及希望深入研究自然語言處理算法的計(jì)算機(jī)工程師√ 本書得到歐洲科學(xué)院外籍院士、清華大學(xué)人工智能研究院常務(wù)副院長孫茂松教授作序。 √ 創(chuàng)新工場首席科學(xué)家、微軟亞洲研究院原副院長、中國計(jì)算機(jī)學(xué)會副理事長、國際計(jì)算語言學(xué)會(ACL)(2019年)主席周明老師,字節(jié)跳動人工智能實(shí)驗(yàn)室總監(jiān)李航教授,科大訊飛執(zhí)行總裁胡郁老師傾力推薦。 √ 本書從基礎(chǔ)知識、預(yù)訓(xùn)練詞向量、預(yù)訓(xùn)練模型等幾大方面全面系統(tǒng)地介紹了預(yù)訓(xùn)練語言模型技術(shù)。 √ 書中為代表性的模型提供了規(guī)范的示例代碼及實(shí)踐案例。 √ 本書采用全彩印刷,提供良好的閱讀體驗(yàn)。

自然語言處理:基于預(yù)訓(xùn)練模型的方法 內(nèi)容簡介

自然語言處理被譽(yù)為“人工智能皇冠上的明珠”。深度學(xué)習(xí)等技術(shù)的引入為自然語言處理技術(shù)帶來了一場革命,尤其是近年來出現(xiàn)的基于預(yù)訓(xùn)練模型的方法,已成為研究自然語言處理的新范式。本書在介紹自然語言處理、深度學(xué)習(xí)等基本概念的基礎(chǔ)上,重點(diǎn)介紹新的基于預(yù)訓(xùn)練模型的自然語言處理技術(shù)。本書包括基礎(chǔ)知識、預(yù)訓(xùn)練詞向量和預(yù)訓(xùn)練模型三大部分:基礎(chǔ)知識部分介紹自然語言處理和深度學(xué)習(xí)的基礎(chǔ)知識和基本工具;預(yù)訓(xùn)練詞向量部分介紹靜態(tài)詞向量和動態(tài)詞向量的預(yù)訓(xùn)練方法及應(yīng)用;預(yù)訓(xùn)練模型部分介紹幾種典型的預(yù)訓(xùn)練語言模型及應(yīng)用,以及預(yù)訓(xùn)練模型的近期新進(jìn)展。除了理論知識,本書還有針對性地結(jié)合具體案例提供相應(yīng)的PyTorch 代碼實(shí)現(xiàn),不僅能讓讀者對理論有更深刻的理解,還能快速地實(shí)現(xiàn)自然語言處理模型,達(dá)到理論和實(shí)踐的統(tǒng)一。本書既適合具有一定機(jī)器學(xué)習(xí)基礎(chǔ)的高等院校學(xué)生、研究機(jī)構(gòu)的研究者,以及希望深入研究自然語言處理算法的計(jì)算機(jī)工程師閱讀,也適合對人工智能、深度學(xué)習(xí)和自然語言處理感興趣的學(xué)生和希望進(jìn)入人工智能應(yīng)用領(lǐng)域的研究者參考。

自然語言處理:基于預(yù)訓(xùn)練模型的方法 目錄

目錄

推薦序/III

推薦語/IV

前言/V

數(shù)學(xué)符號/IX

第1 章緒論/1

1.1 自然語言處理的概念/2

1.2 自然語言處理的難點(diǎn)/2

1.2.1 抽象性/ 2

1.2.2 組合性/ 2

1.2.3 歧義性/3

1.2.4 進(jìn)化性/3

1.2.5 非規(guī)范性/3

1.2.6 主觀性/3

1.2.7 知識性/3

1.2.8 難移植性/4

1.3 自然語言處理任務(wù)體系/4

1.3.1 任務(wù)層級/4

1.3.2 任務(wù)類別/5

1.3.3 研究對象與層次/6

1.4 自然語言處理技術(shù)發(fā)展歷史/7


第2 章自然語言處理基礎(chǔ)/11

2.1 文本的表示/12

2.1.1 詞的獨(dú)熱表示/13

2.1.2 詞的分布式表示/13

2.1.3 詞嵌入表示/19

2.1.4 文本的詞袋表示 /19

2.2 自然語言處理任務(wù) /20

2.2.1 語言模型/20

2.2.2 自然語言處理基礎(chǔ)任務(wù)/23

2.2.3 自然語言處理應(yīng)用任務(wù)/31

2.3 基本問題 /35

2.3.1 文本分類問題/35

2.3.2 結(jié)構(gòu)預(yù)測問題/ 36

2.3.3 序列到序列問題/38

2.4 評價(jià)指標(biāo)/40

2.5 小結(jié)/43


第3 章基礎(chǔ)工具集與常用數(shù)據(jù)集45

3.1 NLTK 工具集/46

3.1.1 常用語料庫和詞典資源/46

3.1.2 常用自然語言處理工具集 /49

3.2 LTP 工具集/51

3.2.1 中文分詞/51

3.2.2 其他中文自然語言處理功能/52

3.3 PyTorch 基礎(chǔ)/52

3.3.1 張量的基本概念/53

3.3.2 張量的基本運(yùn)算/54

3.3.3 自動微分/57

3.3.4 調(diào)整張量形狀/58

3.3.5 廣播機(jī)制/ 59

3.3.6 索引與切片/60

3.3.7 降維與升維 / 60

3.4 大規(guī)模預(yù)訓(xùn)練數(shù)據(jù) /61

3.4.1 維基百科數(shù)據(jù)/62

3.4.2 原始數(shù)據(jù)的獲取/62

3.4.3 語料處理方法/ 62

3.4.4 Common Crawl 數(shù)據(jù)/66

3.5 更多數(shù)據(jù)集 /66

3.6 小結(jié) /68


第4 章自然語言處理中的神經(jīng)網(wǎng)絡(luò)基礎(chǔ)/69

4.1 多層感知器模型/70

4.1.1 感知器/70

4.1.2 線性回歸 /71

4.1.3 Logistic 回歸/71

4.1.4 Softmax 回歸 /72

4.1.5 多層感知器 /74

4.1.6 模型實(shí)現(xiàn) /76

4.2 卷積神經(jīng)網(wǎng)絡(luò)/78

4.2.1 模型結(jié)構(gòu) /78

4.2.2 模型實(shí)現(xiàn) /80

4.3 循環(huán)神經(jīng)網(wǎng)絡(luò)/83

4.3.1 模型結(jié)構(gòu)/ 83

4.3.2 長短時(shí)記憶網(wǎng)絡(luò) / 85

4.3.3 模型實(shí)現(xiàn)/ 87

4.3.4 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的序列到序列模型/88

4.4 注意力模型 /89

4.4.1 注意力機(jī)制/89

4.4.2 自注意力模型/90

4.4.3 Transformer/ 91

4.4.4 基于Transformer 的序列到序列模型/93

4.4.5 Transformer 模型的優(yōu)缺點(diǎn)/ 94

4.4.6 模型實(shí)現(xiàn)/94

4.5 神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練/96

4.5.1 損失函數(shù)/96

4.5.2 梯度下降 /98

4.6 情感分類實(shí)戰(zhàn)/101

4.6.1 詞表映射/101

4.6.2 詞向量層/ 102

4.6.3 融入詞向量層的多層感知器/103

4.6.4 數(shù)據(jù)處理/106

4.6.5 多層感知器模型的訓(xùn)練與測試/108

4.6.6 基于卷積神經(jīng)網(wǎng)絡(luò)的情感分類 / 109

4.6.7 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的情感分類/110

4.6.8 基于Transformer 的情感分類/111

4.7 詞性標(biāo)注實(shí)戰(zhàn) /113

4.7.1 基于前饋神經(jīng)網(wǎng)絡(luò)的詞性標(biāo)注 /114

4.7.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的詞性標(biāo)注 /114

4.7.3 基于Transformer 的詞性標(biāo)注/116

4.8 小結(jié)/116


第5 章靜態(tài)詞向量預(yù)訓(xùn)練模型/119

5.1 神經(jīng)網(wǎng)絡(luò)語言模型 /120

5.1.1 預(yù)訓(xùn)練任務(wù)/120

5.1.2 模型實(shí)現(xiàn)/124

5.2 Word2vec 詞向量 /130

5.2.1 概述/ 130

5.2.2 負(fù)采樣/133

5.2.3 模型實(shí)現(xiàn)/134

5.3 GloVe 詞向量/140

5.3.1 概述/140

5.3.2 預(yù)訓(xùn)練任務(wù)/140

5.3.3 參數(shù)估計(jì)/140

5.3.4 模型實(shí)現(xiàn)/141

5.4 評價(jià)與應(yīng)用/143

5.4.1 詞義相關(guān)性/144

5.4.2 類比性/146

5.4.3 應(yīng)用/147

5.5 小結(jié)/148


第6 章動態(tài)詞向量預(yù)訓(xùn)練模型/151

6.1 詞向量——從靜態(tài)到動態(tài)/ 152

6.2 基于語言模型的動態(tài)詞向量預(yù)訓(xùn)練/153

6.2.1 雙向語言模型/153

6.2.2 ELMo 詞向量/155

6.2.3 模型實(shí)現(xiàn)/156

6.2.4 應(yīng)用與評價(jià)/169

6.3 小結(jié)/171


第7 章預(yù)訓(xùn)練語言模型/173

7.1 概述/174

7.1.1 大數(shù)據(jù)/174

7.1.2 大模型/175

7.1.3 大算力/175

7.2 GPT /177

7.2.1 無監(jiān)督預(yù)訓(xùn)練/178

7.2.2 有監(jiān)督下游任務(wù)精調(diào)/179

7.2.3 適配不同的下游任務(wù)/180

7.3 BERT/182

7.3.1 整體結(jié)構(gòu)/182

7.3.2 輸入表示/ 183

7.3.3 基本預(yù)訓(xùn)練任務(wù)/184

7.3.4 更多預(yù)訓(xùn)練任務(wù) /190

7.3.5 模型對比/194

7.4 預(yù)訓(xùn)練語言模型的應(yīng)用/194

7.4.1 概述/194

7.4.2 單句文本分類/195

7.4.3 句對文本分類/ 198

7.4.4 閱讀理解/201

7.4.5 序列標(biāo)注/206

7.5 深入理解BERT /211

7.5.1 概述/ 211

7.5.2 自注意力可視化分析 / 212

7.5.3 探針實(shí)驗(yàn)/ 213

7.6 小結(jié)/215


第8 章預(yù)訓(xùn)練語言模型進(jìn)階/217

8.1 模型優(yōu)化 /218

8.1.1 XLNet/218

8.1.2 RoBERTa/223

8.1.3 ALBERT/227

8.1.4 ELECTRA/229

8.1.5 MacBERT/232

8.1.6 模型對比/234

8.2 長文本處理 /234

8.2.1 概述/234

8.2.2 Transformer-XL/235

8.2.3 Reformer/238

8.2.4 Longformer /242

8.2.5 BigBird/243

8.2.6 模型對比/244

8.3 模型蒸餾與壓縮 / 244

8.3.1 概述/244

8.3.2 DistilBERT /246

8.3.3 TinyBERT/ 248

8.3.4 MobileBERT /250

8.3.5 TextBrewer/252

8.4 生成模型/ 257

8.4.1 BART / 257

8.4.2 UniLM/260

8.4.3 T5 /263

8.4.4 GPT-3/264

8.4.5 可控文本生成 /265

8.5 小結(jié)/267


第9 章多模態(tài)融合的預(yù)訓(xùn)練模型/269

9.1 多語言融合/ 270

9.1.1 多語言BERT /270

9.1.2 跨語言預(yù)訓(xùn)練語言模型 /272

9.1.3 多語言預(yù)訓(xùn)練語言模型的應(yīng)用/273

9.2 多媒體融合/274

9.2.1 VideoBERT /274

9.2.2 VL-BERT / 275

9.2.3 DALL·E/ 275

9.2.4 ALIGN/276

9.3 異構(gòu)知識融合/276

9.3.1 融入知識的預(yù)訓(xùn)練/277

9.3.2 多任務(wù)學(xué)習(xí) / 282

9.4 更多模態(tài)的預(yù)訓(xùn)練模型/285

9.5 小結(jié)/ 285

參考文獻(xiàn)/287

術(shù)語表/297


展開全部

自然語言處理:基于預(yù)訓(xùn)練模型的方法 節(jié)選

預(yù)訓(xùn)練模型并不是自然語言處理領(lǐng)域的“首創(chuàng)”技術(shù)。在計(jì)算機(jī)視覺(ComputerVision,CV)領(lǐng)域,以ImageNet[14] 為代表的大規(guī)模圖像數(shù)據(jù)為圖像識別、圖像分割等任務(wù)提供了良好的數(shù)據(jù)基礎(chǔ)。因此,在計(jì)算機(jī)視覺領(lǐng)域,通常會使用ImageNet進(jìn)行一次預(yù)訓(xùn)練,讓模型從海量圖像中充分學(xué)習(xí)如何從圖像中提取特征。然后,會根據(jù)具體的目標(biāo)任務(wù),使用相應(yīng)的領(lǐng)域數(shù)據(jù)精調(diào),使模型進(jìn)一步“靠近”目標(biāo)任務(wù)的應(yīng)用場景,起到領(lǐng)域適配和任務(wù)適配的作用。這好比人們在小學(xué)、初中和高中階段會學(xué)習(xí)數(shù)學(xué)、語文、物理、化學(xué)和地理等基礎(chǔ)知識,夯實(shí)基本功并構(gòu)建基本的知識體系(預(yù)訓(xùn)練階段)。而當(dāng)人們步入大學(xué)后,將根據(jù)選擇的專業(yè)(目標(biāo)任務(wù))學(xué)習(xí)某一領(lǐng)域更深層次的知識(精調(diào)階段)。從以上介紹中可以看出,“預(yù)訓(xùn)練+ 精調(diào)”模式在自然語言處理領(lǐng)域的興起并非偶然現(xiàn)象。 由于自然語言處理的核心在于如何更好地建模語言,所以在自然語言處理領(lǐng)域中,預(yù)訓(xùn)練模型通常指代的是預(yù)訓(xùn)練語言模型。廣義上的預(yù)訓(xùn)練語言模型可以泛指提前經(jīng)過大規(guī)模數(shù)據(jù)訓(xùn)練的語言模型,包括早期的以Word2vec、GloVe 為代表的靜態(tài)詞向量模型,以及基于上下文建模的CoVe、ELMo 等動態(tài)詞向量模型。在2018 年,以GPT 和BERT 為代表的基于深層Transformer 的表示模型出現(xiàn)后,預(yù)訓(xùn)練語言模型這個(gè)詞才真正被大家廣泛熟知。因此,目前在自然語言處理領(lǐng)域中提到的預(yù)訓(xùn)練語言模型大多指此類模型。預(yù)訓(xùn)練語言模型的出現(xiàn)使得自然語言處理進(jìn)入新的時(shí)代,也被認(rèn)為是近些年來自然語言處理領(lǐng)域中的里程碑事件。相比傳統(tǒng)的文本表示模型,預(yù)訓(xùn)練語言模型具有“三大”特點(diǎn)——大數(shù)據(jù)、大模型和大算力。接下來介紹這“三大”特點(diǎn)代表的具體含義。 1. 大數(shù)據(jù) “工欲善其事,必先利其器。”要想學(xué)習(xí)更加豐富的文本語義表示,就需要獲取文本在不同上下文中出現(xiàn)的情況,因此大規(guī)模的文本數(shù)據(jù)是必不可少的。獲取足夠多的大規(guī)模文本數(shù)據(jù)是訓(xùn)練一個(gè)好的預(yù)訓(xùn)練語言模型的開始。因此,預(yù)訓(xùn)練數(shù)據(jù)需要講究“保質(zhì)”和“保量”。 ??“保質(zhì)”是希望預(yù)訓(xùn)練語料的質(zhì)量要盡可能高,避免混入過多的低質(zhì)量語料。這與訓(xùn)練普通的自然語言處理模型的標(biāo)準(zhǔn)基本是一致的; ??“保量”是希望預(yù)訓(xùn)練語料的規(guī)模要盡可能大,從而獲取更豐富的上下文信息。 在實(shí)際情況中,預(yù)訓(xùn)練數(shù)據(jù)往往來源不同。精細(xì)化地預(yù)處理所有不同來源的數(shù)據(jù)是非常困難的。因此,在預(yù)訓(xùn)練數(shù)據(jù)的準(zhǔn)備過程中,通常不會進(jìn)行非常精細(xì)化地處理,僅會預(yù)處理語料的共性問題。同時(shí),通過增大語料規(guī)模進(jìn)一步稀釋低質(zhì)量語料的比重,從而降低質(zhì)量較差的語料對預(yù)訓(xùn)練過程帶來的負(fù)面影響。 2. 大模型 在有了大數(shù)據(jù)后,就需要有一個(gè)足以容納這些數(shù)據(jù)的模型。數(shù)據(jù)規(guī)模和模型規(guī)模在一定程度上是正相關(guān)的。當(dāng)在小數(shù)據(jù)上訓(xùn)練模型時(shí),通常模型的規(guī)模不會太大,以避免出現(xiàn)過擬合現(xiàn)象。而當(dāng)在大數(shù)據(jù)上訓(xùn)練模型時(shí),如果不增大模型規(guī)模,可能會造成新的知識無法存放的情況,從而無法完全涵蓋大數(shù)據(jù)中豐富的語義信息。因此,需要一個(gè)容量足夠大的模型來學(xué)習(xí)和存放大數(shù)據(jù)中的各種特征。在機(jī)器學(xué)習(xí)中,“容量大”通常指的是模型的“參數(shù)量大”。那么,如何設(shè)計(jì)這樣一個(gè)參數(shù)量較大的模型呢?這里主要考慮以下兩個(gè)方面。 ?? 模型需要具有較高的并行程度,以彌補(bǔ)大模型帶來的訓(xùn)練速度下降的問題; ?? 模型能夠捕獲并構(gòu)建上下文信息,以充分挖掘大數(shù)據(jù)文本中豐富的語義信息。 綜合以上兩點(diǎn)條件,基于Transformer 的神經(jīng)網(wǎng)絡(luò)模型成為目前構(gòu)建預(yù)訓(xùn)練語言模型的*佳選擇。首先,Transformer 模型具有較高的并行程度。Transformer 核心部分的多頭自注意力機(jī)制(Multi-head Self-attention)[15] 不依賴于順序建模,因此可以快速地并行處理。與此相反,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)語言模型通;谘h(huán)神經(jīng)網(wǎng)絡(luò)(RNN),而RNN 需要按照序列順序處理,并行化程度較低。其次,Transformer 中的多頭自注意力機(jī)制能夠有效地捕獲不同詞之間的關(guān)聯(lián)程度,并且能夠通過多頭機(jī)制從不同維度刻畫這種關(guān)聯(lián)程度,使得模型能夠得到更加精準(zhǔn)的計(jì)算結(jié)果。因此,主流的預(yù)訓(xùn)練語言模型無一例外都使用了Transformer 作為模型的主體結(jié)構(gòu)。 3. 大算力 即使擁有了大數(shù)據(jù)和大模型,但如果沒有與之相匹配的大算力,預(yù)訓(xùn)練語言模型也很難得以實(shí)現(xiàn)。為了訓(xùn)練預(yù)訓(xùn)練語言模型,除了大家熟知的深度學(xué)習(xí)計(jì)算設(shè)備——圖形處理單元(Graphics Processing Unit, GPU),還有后起之秀——張量處理單元(Tensor Processing Unit, TPU)。下面就這兩種常見的深度學(xué)習(xí)計(jì)算設(shè)備進(jìn)行簡單的介紹。

自然語言處理:基于預(yù)訓(xùn)練模型的方法 作者簡介

車萬翔 博士,哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部長聘教授、博士生導(dǎo)師,社會計(jì)算與信息檢索研究中心副主任。教育部青年長江學(xué)者,黑龍江省“龍江學(xué)者”青年學(xué)者,斯坦福大學(xué)訪問學(xué)者,F(xiàn)任中國中文信息學(xué)會計(jì)算語言學(xué)專業(yè)委員會副主任兼秘書長;國際計(jì)算語言學(xué)學(xué)會亞太分會(AACL)執(zhí)委兼秘書長;中國計(jì)算機(jī)學(xué)會高級會員。在ACL、EMNLP、AAAI、IJCAI等國內(nèi)外高水平期刊和會議上發(fā)表學(xué)術(shù)論文50余篇,其中AAAI 2013年的文章獲得了最佳論文提名獎(jiǎng),論文累計(jì)被引用4,600余次(Google Scholar數(shù)據(jù)),H-index值為37。出版教材 2 部,譯著 2 部。目前承擔(dān)2030“新一代人工智能”重大項(xiàng)目課題、國家自然科學(xué)基金等多項(xiàng)科研項(xiàng)目。負(fù)責(zé)研發(fā)的語言技術(shù)平臺(LTP)已被600余家單位共享,提供的在線“語言云”服務(wù)已有用戶1萬余人,并授權(quán)給百度、騰訊、華為等公司使用。2018、2019連續(xù)兩年獲CoNLL國際評測No.1。2020年獲黑龍江省青年科技獎(jiǎng);2015、2016連續(xù)兩年獲Google Focused Research Award(谷歌專注研究獎(jiǎng));2016年獲黑龍江省科技進(jìn)步一等獎(jiǎng)(排名第2);2012年獲黑龍江省技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng)(排名第2);2010年獲中國中文信息學(xué)會“錢偉長”中文信息處理科學(xué)技術(shù)獎(jiǎng)一等獎(jiǎng)(排名第2)、首屆漢王青年創(chuàng)新獎(jiǎng)(個(gè)人)等多項(xiàng)獎(jiǎng)勵(lì)。2017年,所主講的MOOC課程《高級語言程序設(shè)計(jì)(Python)》獲國家精品在線開放課程。 郭江 麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室,博士后研究員。畢業(yè)于哈爾濱工業(yè)大學(xué)社會計(jì)算與信息檢索研究中心,約翰斯·霍普金斯大學(xué)聯(lián)合培養(yǎng)博士,研究方向?yàn)樽匀徽Z言處理與機(jī)器學(xué)習(xí)。在人工智能、自然語言處理領(lǐng)域國際重要會議及期刊(如ACL、EMNLP、AAAI等)發(fā)表論文20余篇。是被業(yè)界廣泛應(yīng)用的中文語言技術(shù)平臺LTP的主要研發(fā)者之一。2015年,獲百度獎(jiǎng)學(xué)金;2018年,獲中文信息學(xué)會“優(yōu)秀博士學(xué)位論文”提名獎(jiǎng)。 崔一鳴 科大訊飛北京研究院副院長、資深級主管研究員。畢業(yè)于哈爾濱工業(yè)大學(xué),獲工學(xué)學(xué)士和碩士學(xué)位,并繼續(xù)攻讀博士學(xué)位。主要從事閱讀理解、預(yù)訓(xùn)練模型等自然語言處理相關(guān)領(lǐng)域的核心技術(shù)研究工作,致力于推動中文機(jī)器閱讀理解和中文預(yù)訓(xùn)練模型的研究與發(fā)展。曾多次獲得機(jī)器翻譯、機(jī)器閱讀理解、自然語言理解評測冠軍,其中包括機(jī)器閱讀理解權(quán)威評測SQuAD、自然語言理解權(quán)威評測GLUE等。所研制的中文閱讀理解及預(yù)訓(xùn)練模型開源項(xiàng)目被業(yè)界廣泛應(yīng)用,在GitHub累計(jì)獲得1萬以上星標(biāo),HuggingFace平臺月均調(diào)用量達(dá)到100萬次。發(fā)表學(xué)術(shù)論文30余篇(包括ACL、EMNLP、AAAI等高水平論文),申請發(fā)明專利20余項(xiàng)。擔(dān)任EMNLP 2021和NLPCC 2021領(lǐng)域主席,擔(dān)任NLP和AI領(lǐng)域頂級國際會議和國際ESI期刊審稿人職務(wù)。

商品評論(0條)
暫無評論……
書友推薦
返回頂部
中圖網(wǎng)
在線客服
主站蜘蛛池模板: 全自动实验室洗瓶机,移液管|培养皿|进样瓶清洗机,清洗剂-广州摩特伟希尔机械设备有限责任公司 | 懂研帝_专业SCI论文润色机构_SCI投稿发表服务公司 | 青州搬家公司电话_青州搬家公司哪家好「鸿喜」青州搬家 | 净化车间装修_合肥厂房无尘室设计_合肥工厂洁净工程装修公司-安徽盛世和居装饰 | 广东健伦体育发展有限公司-体育工程配套及销售运动器材的体育用品服务商 | 济南办公室装修-厂房装修-商铺装修-工装公司-山东鲁工装饰设计 | 都江堰招聘网-都江堰人才网 都江堰人事人才网 都江堰人才招聘网 邢台人才网_邢台招聘网_邢台123招聘【智达人才网】 | 优秀的临床医学知识库,临床知识库,医疗知识库,满足电子病历四级要求,免费试用 | 苏州柯瑞德货架-仓库自动化改造解决方案 | 螺杆式冷水机-低温冷水机厂家-冷冻机-风冷式-水冷式冷水机-上海祝松机械有限公司 | 防伪溯源|防窜货|微信二维码营销|兆信_行业内领先的防伪防窜货数字化营销解决方案供应商 | 浙江工业冷却塔-菱电冷却塔厂家 - 浙江菱电冷却设备有限公司 | 刘秘书_你身边专业的工作范文写作小秘书 | SEO网站优化,关键词排名优化,苏州网站推广-江苏森歌网络 | 早报网| 紧急切断阀_气动切断阀_不锈钢阀门_截止阀_球阀_蝶阀_闸阀-上海上兆阀门制造有限公司 | 箱式破碎机_移动方箱式破碎机/价格/厂家_【华盛铭重工】 | 海外仓系统|国际货代系统|退货换标系统|WMS仓储系统|海豚云 | 济南网站建设|济南建网站|济南网站建设公司【济南腾飞网络】【荐】 | 双菱电缆-广州电缆厂_广州电缆厂有限公司| 农业四情_农业气象站_田间小型气象站_智慧农业气象站-山东风途物联网 | 冷水机,风冷冷水机,水冷冷水机,螺杆冷水机专业制造商-上海祝松机械有限公司 | 塑料瓶罐_食品塑料瓶_保健品塑料瓶_调味品塑料瓶–东莞市富慷塑料制品有限公司 | 三氯异氰尿酸-二氯-三氯-二氯异氰尿酸钠-优氯净-强氯精-消毒片-济南中北_优氯净厂家 | 伶俐嫂培训学校_月嫂培训班在哪里报名学费是多少_月嫂免费政府培训中心推荐 | 多物理场仿真软件_电磁仿真软件_EDA多物理场仿真软件 - 裕兴木兰 | 低压载波电能表-单相导轨式电能表-华邦电力科技股份有限公司-智能物联网综合管理平台 | 「安徽双凯」自动售货机-无人售货机-成人用品-自动饮料食品零食售货机 | 电伴热系统施工_仪表电伴热保温箱厂家_沃安电伴热管缆工业技术(济南)有限公司 | 珠光砂保温板-一体化保温板-有釉面发泡陶瓷保温板-杭州一体化建筑材料 | 动库网动库商城-体育用品专卖店:羽毛球,乒乓球拍,网球,户外装备,运动鞋,运动包,运动服饰专卖店-正品运动品网上商城动库商城网 - 动库商城 | 飞行者联盟-飞机模拟机_无人机_低空经济_航空技术交流平台 | 快速卷帘门_硬质快速卷帘门-西朗门业 | 山东led显示屏,山东led全彩显示屏,山东LED小间距屏,临沂全彩电子屏-山东亚泰视讯传媒有限公司 | 飞扬动力官网-广告公司管理软件,广告公司管理系统,喷绘写真条幅制作管理软件,广告公司ERP系统 | 上海冠顶工业设备有限公司-隧道炉,烘箱,UV固化机,涂装设备,高温炉,工业机器人生产厂家 | MTK核心板|MTK开发板|MTK模块|4G核心板|4G模块|5G核心板|5G模块|安卓核心板|安卓模块|高通核心板-深圳市新移科技有限公司 | 缓蚀除垢剂_循环水阻垢剂_反渗透锅炉阻垢剂_有机硫化物-郑州威大水处理材料有限公司 | 公交驾校-北京公交驾校欢迎您!| 建筑消防设施检测系统检测箱-电梯**检测仪器箱-北京宇成伟业科技有限责任公司 | 济南轻型钢结构/济南铁艺护栏/济南铁艺大门-济南燕翔铁艺制品有限公司 |