中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
TRANSFORMER自然語言處理實戰:使用HUGGING FACE TRANSFORMERS庫構建NLP應用 版權信息
- ISBN：9787111741923
- 條形碼：9787111741923 ; 978-7-111-74192-3
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
TRANSFORMER自然語言處理實戰:使用HUGGING FACE TRANSFORMERS庫構建NLP應用 本書特色
自Transformer在2017年發布以來，自然語言處理領域就邁入了 一個全新的時代。以Transformer為基礎的模型，不斷推動著自 然語言處理技術的進步與革新。如今隨著ChatGPT的發布與流行，Transformer也被越來越多的人所了解和使用。
本書以Hugging Face Transformers庫為基礎，旨在向讀者介紹Transformer模型的基礎知識和快速入門方式，幫助讀者完成訓練和擴展。三位作者都是Hugging Face Transformers的創建者，深諳Transformer的原理與架構，將通過實際案例“手把手”地幫助讀者構建各種自然語言處理任務，并不斷挖掘Transformer的無限潛力，從而實現更廣泛的應用和創新。
通過本書，你將：
? 以NLP領域*具代表性的任務（文本分類、命名實體識別和問答系統）為例，學習構建、調試和優化Transformer模型。
? 了解Transformer如何應用于跨語言遷移學習。
? 學習如何在標注數據稀缺的場景中應用Transformer。
? 使用蒸餾、剪枝和量化等技術優化Transformer。
? 學習如何對Transformer做分布式并行訓練。
TRANSFORMER自然語言處理實戰:使用HUGGING FACE TRANSFORMERS庫構建NLP應用 內容簡介
本書涵蓋了Transformer在NLP領域的主要應用。首先介紹Transformer模型和Hugging Face 生態系統。然后重點介紹情感分析任務以及Trainer API、Transformer的架構，并講述了在多語言中識別文本內實體的任務，以及Transformer模型生成文本的能力，還介紹了解碼策略和度量指標。接著深入挖掘了文本摘要這個復雜的序列到序列的任務，并介紹了用于此任務的度量指標。之后聚焦于構建基于評論的問答系統，介紹如何基于Haystack進行信息檢索，探討在缺乏大量標注數據的情況下提高模型性能的方法。*后展示如何從頭開始構建和訓練用于自動填充Python源代碼的模型，并總結Transformer面臨的挑戰以及將這個模型應用于其他領域的一些新研究。
TRANSFORMER自然語言處理實戰:使用HUGGING FACE TRANSFORMERS庫構建NLP應用 目錄
目錄
序1
前言3
第1章 歡迎來到Transformer的世界11
1.1 編碼器-解碼器框架12
1.2 注意力機制14
1.3 NLP的遷移學習15
1.4 Hugging FaceTransformers庫：提供規范化接口18
1.5 Transformer應用概覽19
1.6 Hugging Face生態系統23
1.7 Transformer的主要挑戰27
1.8 本章小結27
第2章 文本分類29
2.1 數據集30
2.2 將文本轉換成詞元36
2.3 訓練文本分類器44
2.4 本章小結60
第3章 Transformer架構剖析62
3.1 Transformer架構62
3.2 編碼器64
3.3 解碼器79
3.4 認識Transformer81
3.5本章小結87
第4章 多語言命名實體識別88
4.1 數據集89
4.2 多語言Transformer93
4.3 多語言詞元化技術94
4.4 命名實體識別中的Transformers96
4.5 自定義Hugging Face Transformers庫模型類98
4.6 NER的詞元化103
4.7 性能度量105
4.8 微調XLM-RoBERTa106
4.9 錯誤分析108
4.10 跨語言遷移114
4.11 用模型小部件進行交互120
4.12 本章小結121
第5章 文本生成122
5.1 生成連貫文本的挑戰123
5.2 貪婪搜索解碼125
5.3 束搜索解碼129
5.4 采樣方法132
5.5 top-k和核采樣134
5.6 哪種解碼方法*好136
5.7 本章小結137
第6章 文本摘要138
6.1 CNN/DailyMail數據集138
6.2 文本摘要pipeline139
6.3 比較不同的摘要143
6.4 度量生成文本的質量144
6.5 在CNN/DailyMail數據集上評估PEGASUS150
6.6 訓練摘要模型152
6.7 本章小結158
第7章 構建問答系統160
7.1 構建基于評論的問答系統161
7.2 評估并改進問答pipeline183
7.3 生成式問答196
7.4 本章小結199
第8章 Transformer模型調優201
8.1 以意圖識別為例201
8.2 創建性能基準203
8.3 通過知識蒸餾減小模型大小208
8.4 利用量化技術使模型運算更快220
8.5 基準測試量化模型225
8.6 使用ONNX和ONNX Runtime進行推理優化226
8.7 使用權重剪枝使模型更稀疏231
8.8 本章小結235
第9章 零樣本學習和少樣本學習236
9.1 構建GitHub issue標記任務238
9.2 基線模型—樸素貝葉斯245
9.3 零樣本學習248
9.4 少樣本學習256
9.5 利用無標注數據272
9.6 本章小結278
第10章 從零訓練Transformer模型280
10.1 如何尋找大型數據集281
10.2 構建詞元分析器290
10.3 從零訓練一個模型301
10.4 結果與分析315
10.5 本章小結319
第11章 未來發展趨勢321
11.1 Transformer的擴展321
11.2 其他應用領域329
11.3 多模態的Transformer334
11.4 繼續前行的建議342
序1
前言3
第1章 歡迎來到Transformer的世界11
1.1 編碼器-解碼器框架12
1.2 注意力機制14
1.3 NLP的遷移學習15
1.4 Hugging FaceTransformers庫：提供規范化接口18
1.5 Transformer應用概覽19
1.6 Hugging Face生態系統23
1.7 Transformer的主要挑戰27
1.8 本章小結27
第2章 文本分類29
2.1 數據集30
2.2 將文本轉換成詞元36
2.3 訓練文本分類器44
2.4 本章小結60
第3章 Transformer架構剖析62
3.1 Transformer架構62
3.2 編碼器64
3.3 解碼器79
3.4 認識Transformer81
3.5本章小結87
第4章 多語言命名實體識別88
4.1 數據集89
4.2 多語言Transformer93
4.3 多語言詞元化技術94
4.4 命名實體識別中的Transformers96
4.5 自定義Hugging Face Transformers庫模型類98
4.6 NER的詞元化103
4.7 性能度量105
4.8 微調XLM-RoBERTa106
4.9 錯誤分析108
4.10 跨語言遷移114
4.11 用模型小部件進行交互120
4.12 本章小結121
第5章 文本生成122
5.1 生成連貫文本的挑戰123
5.2 貪婪搜索解碼125
5.3 束搜索解碼129
5.4 采樣方法132
5.5 top-k和核采樣134
5.6 哪種解碼方法*好136
5.7 本章小結137
第6章 文本摘要138
6.1 CNN/DailyMail數據集138
6.2 文本摘要pipeline139
6.3 比較不同的摘要143
6.4 度量生成文本的質量144
6.5 在CNN/DailyMail數據集上評估PEGASUS150
6.6 訓練摘要模型152
6.7 本章小結158
第7章 構建問答系統160
7.1 構建基于評論的問答系統161
7.2 評估并改進問答pipeline183
7.3 生成式問答196
7.4 本章小結199
第8章 Transformer模型調優201
8.1 以意圖識別為例201
8.2 創建性能基準203
8.3 通過知識蒸餾減小模型大小208
8.4 利用量化技術使模型運算更快220
8.5 基準測試量化模型225
8.6 使用ONNX和ONNX Runtime進行推理優化226
8.7 使用權重剪枝使模型更稀疏231
8.8 本章小結235
第9章 零樣本學習和少樣本學習236
9.1 構建GitHub issue標記任務238
9.2 基線模型—樸素貝葉斯245
9.3 零樣本學習248
9.4 少樣本學習256
9.5 利用無標注數據272
9.6 本章小結278
第10章 從零訓練Transformer模型280
10.1 如何尋找大型數據集281
10.2 構建詞元分析器290
10.3 從零訓練一個模型301
10.4 結果與分析315
10.5 本章小結319
第11章 未來發展趨勢321
11.1 Transformer的擴展321
11.2 其他應用領域329
11.3 多模態的Transformer334
11.4 繼續前行的建議342
展開全部
TRANSFORMER自然語言處理實戰:使用HUGGING FACE TRANSFORMERS庫構建NLP應用 作者簡介
Lewis Tunstall是Hugging Face機器學習工程師，致力于為NLP社區開發實用工具，并幫助人們更好地使用這些工具。
Leandro von Werra是Hugging Face機器學習工程師，致力于代碼生成模型的研究與社區推廣工作。
Thomas Wolf是Hugging Face首席科學官兼聯合創始人，他的團隊肩負著促進AI研究和普及的使命。
書友推薦
- >
唐代進士錄
- >
名家帶你讀魯迅:朝花夕拾
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
自卑與超越
- >
我從未如此眷戀人間
- >
朝聞道
- >
上帝之肋:男人的真實旅程
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
本類暢銷
