-
>
闖進數(shù)學(xué)世界――探秘歷史名題
-
>
中醫(yī)基礎(chǔ)理論
-
>
當(dāng)代中國政府與政治(新編21世紀(jì)公共管理系列教材)
-
>
高校軍事課教程
-
>
思想道德與法治(2021年版)
-
>
毛澤東思想和中國特色社會主義理論體系概論(2021年版)
-
>
中醫(yī)內(nèi)科學(xué)·全國中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材
自然語言處理基礎(chǔ)與大模型案例與實踐 版權(quán)信息
- ISBN:9787302651550
- 條形碼:9787302651550 ; 978-7-302-65155-0
- 裝幀:平裝-膠訂
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>>
自然語言處理基礎(chǔ)與大模型案例與實踐 本書特色
精選自然語言處理的經(jīng)典模型和算法,緊扣領(lǐng)域前沿;理論與實踐結(jié)合,涵蓋基礎(chǔ)知識與具體案例和實現(xiàn)代碼,全方位展示自然語言處理從理論到實踐的全貌。
自然語言處理基礎(chǔ)與大模型案例與實踐 內(nèi)容簡介
《自然語言處理基礎(chǔ)與大模型 案例與實踐》在簡要介紹自然語言處理代表性模型和方法的基礎(chǔ)上,通過具體案例詳細(xì)展現(xiàn)了相關(guān)模型和算法的實現(xiàn)過程,并給出了可執(zhí)行的程序代碼、數(shù)據(jù)集和運行結(jié)果。全書內(nèi)容既有經(jīng)典的統(tǒng)計語言模型,也有神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型和大語言模型前沿技術(shù)。應(yīng)用案例從情感分析、信息抽取、自動摘要和文本語義匹配,到閱讀理解、意圖理解、文本生成和機器翻譯,全方位地展示自然語言處理從理論到實踐的全貌。書中提供的所有代碼都已通過調(diào)試,并以Jupyter Notebook形式托管在百度AI Studio星河社區(qū)上。讀者按照書中的說明就可以直接使用AI Studio提供的免費計算資源在線編譯運行書中的程序代碼,為讀者實踐、練習(xí)提供了極大的便利 。
《自然語言處理基礎(chǔ)與大模型 案例與實踐》可作為高等院校相關(guān)專業(yè)高年級本科生和研究生學(xué)習(xí)自然語言處理課程的教學(xué)輔導(dǎo)書,也可供對自然語言處理技術(shù)感興趣的初學(xué)者或者從事相關(guān)技術(shù)研發(fā)的工程技術(shù)人員參考。
自然語言處理基礎(chǔ)與大模型案例與實踐 目錄
1.1自然語言處理方法概述
1.2本書的內(nèi)容組織
1.3本書的實踐平臺
1.3.1本地運行
1.3.2AI Studio星河社區(qū)運行
1.3.3本書使用的API
1.3.4本書使用的數(shù)據(jù)集 第2章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
2.1概述
2.2神經(jīng)元與感知機
2.2.1神經(jīng)元
2.2.2感知機
2.2.3常見的激活函數(shù)
2.3前饋神經(jīng)網(wǎng)絡(luò)
2.4卷積神經(jīng)網(wǎng)絡(luò)
2.4.1卷積
2.4.2池化
2.4.3卷積神經(jīng)網(wǎng)絡(luò)
2.5循環(huán)神經(jīng)網(wǎng)絡(luò)
2.5.1簡單循環(huán)神經(jīng)網(wǎng)絡(luò)
2.5.2長短時記憶網(wǎng)絡(luò)
2.5.3門控循環(huán)單元
2.5.4循環(huán)神經(jīng)網(wǎng)絡(luò)拓展知識 第3章分布式表示
3.1詞的分布式表示
3.1.1靜態(tài)詞向量
3.1.2動態(tài)詞向量
3.2短語的分布式表示
3.3句子的分布式表示
3.3.1基于循環(huán)神經(jīng)網(wǎng)絡(luò)的表示方法
3.3.2基于預(yù)訓(xùn)練語言模型的表示方法 第4章序列生成模型
4.1基于循環(huán)神經(jīng)網(wǎng)絡(luò)的Seq2Seq模型
4.1.1基于RNN的Seq2Seq模型原理
4.1.2解碼策略
4.2融合注意力機制的Seq2Seq模型
4.3基于Transformer的Seq2Seq模型
4.3.1自注意力模型
4.3.2Transformer的網(wǎng)絡(luò)結(jié)構(gòu)
4.3.3Transformer編碼器
4.3.4Transformer解碼器
4.3.5知識延伸: 基于Transformer結(jié)構(gòu)的模型 第5章基礎(chǔ)語言模型
5.1統(tǒng)計語言模型
5.1.1模型定義
5.1.2數(shù)據(jù)平滑方法
5.1.3語言模型評價
5.2神經(jīng)網(wǎng)絡(luò)語言模型
5.2.1前饋神經(jīng)網(wǎng)絡(luò)語言模型
5.2.2循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型
5.2.3語言模型與詞向量 第6章預(yù)訓(xùn)練大模型
6.1GPT語言模型
6.1.1GPT模型預(yù)訓(xùn)練
6.1.2GPT在下游任務(wù)中的應(yīng)用
6.2BERT語言模型
6.2.1BERT模型的預(yù)訓(xùn)練任務(wù)
6.2.2BERT在下游任務(wù)中的應(yīng)用
6.3ERNIE 語言模型
6.4預(yù)訓(xùn)練大模型
6.4.1基礎(chǔ)大模型
6.4.2指令微調(diào)
6.4.3基于人類反饋的強化學(xué)習(xí) 第7章詞語切分
7.1基于BERT實現(xiàn)中文分詞
7.1.1任務(wù)目標(biāo)
7.1.2實現(xiàn)思路及流程
7.1.3數(shù)據(jù)處理
7.1.4模型構(gòu)建
7.1.5訓(xùn)練配置
7.1.6模型訓(xùn)練
7.1.7模型評估
7.1.8模型預(yù)測
7.2基于BPE算法實現(xiàn)子詞切分
7.2.1任務(wù)目標(biāo)
7.2.2實現(xiàn)思路及流程
7.2.3構(gòu)建BPE詞表
7.2.4文本子詞切分
7.2.5語料還原
7.3實驗思考 第8章文本情感分類方法實踐
8.1基于LSTM模型的情感分類方法
8.1.1任務(wù)目標(biāo)
8.1.2實現(xiàn)思路及流程
8.1.3數(shù)據(jù)處理
8.1.4模型構(gòu)建
8.1.5訓(xùn)練配置
8.1.6模型訓(xùn)練
8.1.7模型評估
8.1.8模型預(yù)測
8.2基于BERT模型實現(xiàn)情感分類
8.2.1數(shù)據(jù)處理
8.2.2模型構(gòu)建
8.2.3訓(xùn)練配置
8.2.4模型訓(xùn)練
8.2.5模型評估
8.2.6模型預(yù)測
8.3基于BERT的屬性級情感分類
8.3.1任務(wù)目標(biāo)
8.3.2實現(xiàn)思路及流程
8.3.3屬性和觀點抽取
8.3.4屬性級情感分類
8.3.5全流程模型推理
8.4實驗思考 第9章信息抽取實踐
9.1基于Bi-LSTM和CRF的命名實體識別方法
9.1.1任務(wù)目標(biāo)和實現(xiàn)流程
9.1.2數(shù)據(jù)處理
9.1.3模型構(gòu)建
9.1.4訓(xùn)練配置
9.1.5模型訓(xùn)練
9.1.6模型評估
9.1.7模型預(yù)測
9.2基于ERNIE-UIE實現(xiàn)實體關(guān)系抽取
9.2.1任務(wù)目標(biāo)和實現(xiàn)流程
9.2.2數(shù)據(jù)處理
9.2.3模型構(gòu)建
9.2.4訓(xùn)練配置
9.2.5模型訓(xùn)練
9.2.6模型評估
9.2.7模型預(yù)測
9.3實驗思考 第10章文本語義匹配實踐
10.1基于SimNet的文本語義匹配
10.1.1任務(wù)目標(biāo)和實現(xiàn)流程
10.1.2數(shù)據(jù)處理
10.1.3模型構(gòu)建
10.1.4訓(xùn)練配置
10.1.5模型訓(xùn)練
10.1.6模型評估
10.1.7模型預(yù)測
10.2基于RocketQA的文本語義匹配
10.2.1任務(wù)目標(biāo)和實現(xiàn)流程
10.2.2數(shù)據(jù)處理
10.2.3模型構(gòu)建
10.2.4訓(xùn)練配置
10.2.5模型訓(xùn)練
10.2.6模型評估
10.2.7模型預(yù)測
10.3實驗思考 第11章基于PEGASUS的中文文本摘要實踐
11.1任務(wù)目標(biāo)和實現(xiàn)流程
11.2數(shù)據(jù)處理
11.2.1數(shù)據(jù)集確定
11.2.2數(shù)據(jù)加載
11.2.3將數(shù)據(jù)轉(zhuǎn)換成特征形式
11.2.4構(gòu)造DataLoader
11.3模型構(gòu)建
11.4訓(xùn)練配置
11.4.1BLEU算法
11.4.2ROUGE算法
11.5模型訓(xùn)練
11.6模型評估
11.7模型預(yù)測
11.8實驗思考 第12章基于ERNIE 3.0實現(xiàn)意圖識別
12.1任務(wù)目標(biāo)和實現(xiàn)流程
12.2數(shù)據(jù)處理
12.2.1數(shù)據(jù)集確定
12.2.2數(shù)據(jù)加載
12.2.3將數(shù)據(jù)轉(zhuǎn)換成特征形式
12.2.4構(gòu)造DataLoader
12.3模型構(gòu)建
12.4訓(xùn)練配置
12.5模型訓(xùn)練
12.6模型評估
12.7模型預(yù)測
12.8實驗思考 第13章機器閱讀理解實踐
13.1任務(wù)目標(biāo)
13.2實現(xiàn)流程
13.3數(shù)據(jù)處理
13.3.1數(shù)據(jù)集確定
13.3.2數(shù)據(jù)加載
13.3.3將數(shù)據(jù)轉(zhuǎn)換成特征形式
13.3.4構(gòu)造DataLoader
13.4模型構(gòu)建
13.5訓(xùn)練配置
13.6模型訓(xùn)練
13.7模型評估
13.8模型預(yù)測
13.9實驗思考 第14章機器翻譯實踐
14.1任務(wù)目標(biāo)和實現(xiàn)流程
14.2數(shù)據(jù)處理
14.2.1數(shù)據(jù)集確定
14.2.2數(shù)據(jù)加載
14.2.3將數(shù)據(jù)轉(zhuǎn)換成特征形式
14.2.4構(gòu)建DataLoader
14.2.5后處理
14.3模型構(gòu)建
14.3.1嵌入層的代碼實現(xiàn)
14.3.2組裝Transformer模型
14.4訓(xùn)練配置
14.5模型訓(xùn)練
14.6模型評估
14.6.1數(shù)據(jù)讀取
14.6.2權(quán)重加載
14.6.3模型評估
14.7模型預(yù)測
14.8實驗思考 第15章基于大模型的自動問答實踐
15.1任務(wù)目標(biāo)和設(shè)計方案
15.2通過飛槳零代碼開發(fā)工具實現(xiàn)
15.3通過PaddleNLP實現(xiàn)
15.3.1代碼實現(xiàn)邏輯
15.3.2配置大模型
15.3.3配置向量檢索模型
15.3.4定義document store
15.3.5構(gòu)建文檔索引
15.3.6構(gòu)建問答應(yīng)用
15.3.7(可選)在線推理部署
15.4實驗思考 附錄 術(shù)語與縮略語
參考文獻(xiàn)
自然語言處理基礎(chǔ)與大模型案例與實踐 作者簡介
宗成慶,中國科學(xué)院自動化所研究員、博士生導(dǎo)師,中國科學(xué)大學(xué)崗位教授,ACL/ CAAI/ CCF Fellow,主要從事自然語言處理、機器翻譯和語言認(rèn)知計算等研究,主持國家項目10余項,發(fā)表論文200余篇,出版《統(tǒng)計自然語言處理》、《文本數(shù)據(jù)挖掘》和Text Data Mining三部專著及兩部譯著。現(xiàn)任國際計算語言學(xué)委員會(ICCL)委員,中國中文信息學(xué)會副理事長,榮獲國家科技進步獎二等獎和多個省部級及國家一級學(xué)會的科技獎勵,獲得北京市優(yōu)秀教師、中科院優(yōu)秀導(dǎo)師和國科大李佩教學(xué)名師等若干榮譽。
趙陽,中國科學(xué)院自動化研究所助理研究員,中國中文信息學(xué)會開源情報技術(shù)專業(yè)委員會委員,研究方向為自然語言處理與機器翻譯,作為負(fù)責(zé)人和參與人員,主持和承擔(dān)國家自然基金、科技部重點研發(fā)計劃和中國科學(xué)院先導(dǎo)計劃等多項國家項目。
飛槳教材編寫組,專注數(shù)據(jù)分析、商業(yè)戰(zhàn)略、機器學(xué)習(xí)和人工智能等領(lǐng)域,出品過《大數(shù)據(jù)分析的道與術(shù)》《機器學(xué)習(xí)的思考故事》《零基礎(chǔ)實踐深度學(xué)習(xí)》和《如何系統(tǒng)化的分析業(yè)務(wù)和戰(zhàn)略》等系列課程。
- >
山海經(jīng)
- >
史學(xué)評論
- >
莉莉和章魚
- >
回憶愛瑪儂
- >
新文學(xué)天穹兩巨星--魯迅與胡適/紅燭學(xué)術(shù)叢書(紅燭學(xué)術(shù)叢書)
- >
煙與鏡
- >
姑媽的寶刀
- >
我從未如此眷戀人間