中圖網小程序
一鍵登錄
更方便
>
預訓練語言模型:方法、實踐與應用
本類五星書更多>
-
>
貨幣大歷史:金融霸權與大國興衰六百年
-
>
(精)方力鈞作品圖錄
-
>
《藏書報》2021合訂本
-
>
(精)中國當代書畫名家作品集·范碩:書法卷+繪畫卷(全2卷)
-
>
(噴繪樓閣版)女主臨朝:武則天的權力之路
-
>
書里掉出來一只狼+狼的故事-全2冊
-
>
奇思妙想創意玩具書(精裝4冊)
預訓練語言模型:方法、實踐與應用 版權信息
- ISBN：9787115650566
- 條形碼：9787115650566 ; 978-7-115-65056-6
- 裝幀：平裝
- 冊數：暫無
- 重量：暫無
- 所屬分類：
預訓練語言模型:方法、實踐與應用 本書特色
基礎知識：全面、系統介紹預訓練語言模型的相關知識；
預訓練語言模型：介紹具有代表性的預訓練語言模型的原理和機制；
實踐與應用：介紹知識庫問答系統、基于自然語言處理任務應用研究、大模型訓練實戰等具體應用。
預訓練語言模型:方法、實踐與應用 內容簡介
近年來，在自然語言處理領域，基于預訓練語言模型的方法已形成全新范式。本書內容分為基礎知識、預訓練語言模型，以及實踐與應用3個部分，共9章。**部分全面、系統地介紹自然語言處理、神經網絡和預訓練語言模型的相關知識。第二部分介紹幾種具有代表性的預訓練語言模型的原理和機制（涉及注意力機制和Transformer模型），包括BERT及其變種，以及近年來發展迅猛的GPT和提示工程。第三部分介紹了基于LangChain和ChatGLM-6B的知識庫問答系統、基于大型語言模型的自然語言處理任務應用研究和大模型訓練實戰等具體應用，旨在從應用的角度加深讀者對預訓練語言模型理論的理解，便于讀者在實踐中提高技能，達到理論和實踐的統一。 本書適合計算機相關專業的學生，以及其他對預訓練語言模型感興趣的讀者閱讀。
預訓練語言模型:方法、實踐與應用 目錄
目 錄
第 一部分 基礎知識
第 1章 自然語言處理介紹 2
1.1 什么是自然語言處理 2
1.2 自然語言處理的發展歷史 2
1.3 自然語言的特性 3
1.3.1 歧義性 4
1.3.2 主觀性 4
1.3.3 創造性 4
1.3.4 社會性 5
1.4 自然語言處理的研究領域 6
1.5 自然語言處理的常規任務 6
1.5.1 機器翻譯 7
1.5.2 信息抽取 8
1.6 自然語言處理的常用工具 12
1.6.1 常用工具 12
1.6.2 PyTorch介紹 13
第 2章 神經網絡預備知識 18
2.1 神經網絡核心概念 18
2.1.1 導數和梯度 18
2.1.2 鏈式法則 20
2.1.3 損失函數 22
2.1.4 前向傳播與反向傳播 24
2.1.5 激活函數 28
2.2 神經網絡主要類型 33
2.2.1 全連接神經網絡 33
2.2.2 卷積神經網絡 34
2.2.3 循環神經網絡 36
2.2.4 長短期記憶網絡 38
2.2.5 自編碼器 40
2.2.6 生成對抗網絡 41
第3章 預訓練語言模型基礎知識 44
3.1 什么是預訓練 44
3.2 文本表示方法的分類 45
3.3 詞袋型文本表示方法 46
3.3.1 獨熱編碼 46
3.3.2 詞袋模型 47
3.3.3 N-gram 49
3.3.4 TF-IDF 51
3.4 主題型文本表示方法 53
3.4.1 LSA 53
3.4.2 LDA 57
3.5 固定型詞向量文本表示方法 59
3.5.1 Word2Vec 59
3.5.2 GloVe 70
3.5.3 FastText 75
3.6 動態型詞向量文本表示方法 77
3.6.1 ELMo 77
3.6.2 ELMo實現 78
第二部分 預訓練語言模型
第4章 注意力機制和Transformer
模型 82
4.1 注意力機制簡介 82
4.1.1 什么是注意力機制 82
4.1.2 自注意力機制 88
4.1.3 多頭注意力機制 95
4.2 Transformer模型 97
4.2.1 編碼器部分 98
4.2.2 解碼器部分 101
4.2.3 模型示例 104
第5章 BERT和變種BERT 110
5.1 BERT 110
5.1.1 BERT模型結構 110
5.1.2 BERT輸入表示 112
5.1.3 BERT預訓練 113
5.1.4 BERT微調訓練 117
5.1.5 模型示例 120
5.2 變種BERT 122
5.2.1 ALBERT 122
5.2.2 XLNet 123
5.2.3 RoBERTa 127
5.2.4 ELECTRA 129
5.2.5 ERNIE 132
第6章 GPT和提示工程 137
6.1 GPT系列 137
6.1.1 GPT-1 137
6.1.2 GPT-2 140
6.1.3 GPT-3 142
6.1.4 InstructGPT和ChatGPT 144
6.1.5 GPT-4 147
6.2 Prompt 148
6.2.1 什么是提示工程 148
6.2.2 構建提示模板的方法 151
6.2.3 提示工程常用技術 152
6.2.4 提示詞應用示例 157
第三部分 實踐與應用
第7章 基于LangChain和ChatGLM-6B的知識庫問答系統 166
7.1 核心組件 166
7.1.1 LangChain 166
7.1.2 ChatGLM-6B 169
7.2 構建流程 172
7.2.1 本地知識庫構建 172
7.2.2 基于知識庫的問答系統
構建 173
7.3 趨勢與挑戰 176
7.3.1 發展趨勢 176
7.3.2 面臨的挑戰 177
第8章 基于大型語言模型的自然語言處理任務應用研究 178
8.1 文本分類任務 178
8.1.1 任務描述 178
8.1.2 提示詞設計 179
8.1.3 實現與測試 180
8.2 信息抽取任務 182
8.2.1 任務描述 182
8.2.2 提示詞設計 183
8.2.3 實現與測試 184
8.3 文本匹配任務 186
8.3.1 任務描述 187
8.3.2 提示詞設計 187
8.3.3 實現與測試 187
第9章 大模型訓練實戰 190
9.1 預訓練階段 190
9.1.1 數據準備 190
9.1.2 數據處理 191
9.1.3 詞表擴充 192
9.1.4 模型預訓練 193
9.1.5 模型效果評測 195
9.2 指令微調階段 197
9.2.1 指令微調 197
9.2.2 數據集準備 199
9.2.3 指令微調模板 202
9.3 獎勵模型 204
9.3.1 直接打分 204
9.3.2 排序打分 207
9.4 RLHF微調 211
9.4.1 流程介紹 211
9.4.2 具體實現 211
9.5 大模型評測 214
9.5.1 評測內容 214
9.5.2 評測方法 215
9.5.3 評測挑戰 216
第 一部分 基礎知識
第 1章 自然語言處理介紹 2
1.1 什么是自然語言處理 2
1.2 自然語言處理的發展歷史 2
1.3 自然語言的特性 3
1.3.1 歧義性 4
1.3.2 主觀性 4
1.3.3 創造性 4
1.3.4 社會性 5
1.4 自然語言處理的研究領域 6
1.5 自然語言處理的常規任務 6
1.5.1 機器翻譯 7
1.5.2 信息抽取 8
1.6 自然語言處理的常用工具 12
1.6.1 常用工具 12
1.6.2 PyTorch介紹 13
第 2章 神經網絡預備知識 18
2.1 神經網絡核心概念 18
2.1.1 導數和梯度 18
2.1.2 鏈式法則 20
2.1.3 損失函數 22
2.1.4 前向傳播與反向傳播 24
2.1.5 激活函數 28
2.2 神經網絡主要類型 33
2.2.1 全連接神經網絡 33
2.2.2 卷積神經網絡 34
2.2.3 循環神經網絡 36
2.2.4 長短期記憶網絡 38
2.2.5 自編碼器 40
2.2.6 生成對抗網絡 41
第3章 預訓練語言模型基礎知識 44
3.1 什么是預訓練 44
3.2 文本表示方法的分類 45
3.3 詞袋型文本表示方法 46
3.3.1 獨熱編碼 46
3.3.2 詞袋模型 47
3.3.3 N-gram 49
3.3.4 TF-IDF 51
3.4 主題型文本表示方法 53
3.4.1 LSA 53
3.4.2 LDA 57
3.5 固定型詞向量文本表示方法 59
3.5.1 Word2Vec 59
3.5.2 GloVe 70
3.5.3 FastText 75
3.6 動態型詞向量文本表示方法 77
3.6.1 ELMo 77
3.6.2 ELMo實現 78
第二部分 預訓練語言模型
第4章 注意力機制和Transformer
模型 82
4.1 注意力機制簡介 82
4.1.1 什么是注意力機制 82
4.1.2 自注意力機制 88
4.1.3 多頭注意力機制 95
4.2 Transformer模型 97
4.2.1 編碼器部分 98
4.2.2 解碼器部分 101
4.2.3 模型示例 104
第5章 BERT和變種BERT 110
5.1 BERT 110
5.1.1 BERT模型結構 110
5.1.2 BERT輸入表示 112
5.1.3 BERT預訓練 113
5.1.4 BERT微調訓練 117
5.1.5 模型示例 120
5.2 變種BERT 122
5.2.1 ALBERT 122
5.2.2 XLNet 123
5.2.3 RoBERTa 127
5.2.4 ELECTRA 129
5.2.5 ERNIE 132
第6章 GPT和提示工程 137
6.1 GPT系列 137
6.1.1 GPT-1 137
6.1.2 GPT-2 140
6.1.3 GPT-3 142
6.1.4 InstructGPT和ChatGPT 144
6.1.5 GPT-4 147
6.2 Prompt 148
6.2.1 什么是提示工程 148
6.2.2 構建提示模板的方法 151
6.2.3 提示工程常用技術 152
6.2.4 提示詞應用示例 157
第三部分 實踐與應用
第7章 基于LangChain和ChatGLM-6B的知識庫問答系統 166
7.1 核心組件 166
7.1.1 LangChain 166
7.1.2 ChatGLM-6B 169
7.2 構建流程 172
7.2.1 本地知識庫構建 172
7.2.2 基于知識庫的問答系統
構建 173
7.3 趨勢與挑戰 176
7.3.1 發展趨勢 176
7.3.2 面臨的挑戰 177
第8章 基于大型語言模型的自然語言處理任務應用研究 178
8.1 文本分類任務 178
8.1.1 任務描述 178
8.1.2 提示詞設計 179
8.1.3 實現與測試 180
8.2 信息抽取任務 182
8.2.1 任務描述 182
8.2.2 提示詞設計 183
8.2.3 實現與測試 184
8.3 文本匹配任務 186
8.3.1 任務描述 187
8.3.2 提示詞設計 187
8.3.3 實現與測試 187
第9章 大模型訓練實戰 190
9.1 預訓練階段 190
9.1.1 數據準備 190
9.1.2 數據處理 191
9.1.3 詞表擴充 192
9.1.4 模型預訓練 193
9.1.5 模型效果評測 195
9.2 指令微調階段 197
9.2.1 指令微調 197
9.2.2 數據集準備 199
9.2.3 指令微調模板 202
9.3 獎勵模型 204
9.3.1 直接打分 204
9.3.2 排序打分 207
9.4 RLHF微調 211
9.4.1 流程介紹 211
9.4.2 具體實現 211
9.5 大模型評測 214
9.5.1 評測內容 214
9.5.2 評測方法 215
9.5.3 評測挑戰 216
展開全部
預訓練語言模型:方法、實踐與應用 作者簡介
自然語言處理工程師，在機器學習、深度學習和自然語言處理領域有十余年的算法研發經驗，曾在一線大廠阿里巴巴、京東等擔任過資深算法工程師和算法經理等職，現在在世界500強公司擔任自然語言處理團隊負責人，負責過金融和醫療領域的知識圖譜、智能問答系統、文本生成系統等企業級核心項目。
書友推薦
- >
苦雨齋序跋文-周作人自編集
- >
李白與唐代文化
- >
莉莉和章魚
- >
羅庸西南聯大授課錄
- >
龍榆生：詞曲概論/大家小書
- >
隨園食單
- >
巴金－再思錄
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
本類暢銷
