中圖網(wǎng)小程序
一鍵登錄
更方便
包郵 精通Transformer:從零開始構(gòu)建最先進(jìn)的NLP模型
作者：薩瓦斯·伊爾蒂利姆
開本：
16開
頁數(shù)：
277
本類榜單：計算機/網(wǎng)絡(luò)銷量榜
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應(yīng)用
-
>
決戰(zhàn)行測5000題(言語理解與表達(dá))
-
>
軟件性能測試.分析與調(diào)優(yōu)實踐之路
-
>
第一行代碼Android
-
>
JAVA持續(xù)交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學(xué)習(xí)
精通Transformer:從零開始構(gòu)建最先進(jìn)的NLP模型 版權(quán)信息
- ISBN：9787576322279
- 條形碼：9787576322279 ; 978-7-5763-2227-9
- 裝幀：一般膠版紙
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
精通Transformer:從零開始構(gòu)建最先進(jìn)的NLP模型 本書特色
ChatGPT紅得發(fā)紫，強得讓人類心悸。 但在它的背后，還隱藏著一位真正的大佬。 它的名字叫做——Transformer！ 在大數(shù)據(jù)和人工智能時代，機器學(xué)習(xí) (Machine Learning,ML) 和 深 度 學(xué) 習(xí) (DeepLeamning,DL) 已經(jīng)成為各行各業(yè)解決問題的有效方法，自然語言處理 (Natural Language Processing,NLP) 是深度學(xué)習(xí)的重要應(yīng)用領(lǐng)域之一。在過去的二十年中，自然語言處理經(jīng)歷了翻天 覆地的變化：從傳統(tǒng)的自然語言處理方法 (n-gram 語言模型、基于TF-IDF 的信息檢索模型、獨熱編碼文檔術(shù)語矩陣等)到深度學(xué)習(xí)方法 (RNN、CNN、FFNN、LSTM 等),再到Transformer。 目前，基于Transformer 的語言模型主導(dǎo)了自然語言處理領(lǐng)域的研究，已經(jīng)成為一種新的范式。 Transformer模型是谷歌公司于2017年推出的自然語言處理經(jīng)典模型。在自然語言處理任務(wù)中，Transformer 的表現(xiàn)超越了RNN 和 CNN,只需編碼器/解碼器就能達(dá)到很好的效果，并且可以實現(xiàn) 高效的并行化。 Transformer 社區(qū)提供的大量預(yù)訓(xùn)練模型為自然語言處理的研究和生成部署提供了*前沿的基準(zhǔn)。 本書涵蓋了Transformer 深度學(xué)習(xí)體系結(jié)構(gòu)的理論知識和實踐指南。借助 Hugging Face 社區(qū) 的Transformer 庫，本書循序漸進(jìn)地提供了各種自然語言處理問題的解決方案。本書采用理論和實 踐相結(jié)合的方式，系統(tǒng)地闡述了自然語言處理的相關(guān)理論和技術(shù)，詳細(xì)介紹了使用Transformer 訓(xùn)練、微調(diào)和部署自然語言處理解決方案的流程。 通過本書的學(xué)習(xí)，讀者可以利用Transformer 庫探索*先進(jìn)的自然語言處理解決方案；使用 Transformer體系結(jié)構(gòu)訓(xùn)練任何語言模型；微調(diào)預(yù)訓(xùn)練的語言模型以執(zhí)行多個下游任務(wù)；監(jiān)控訓(xùn)練過 程、可視化解釋Transformer 內(nèi)部表示以及部署生產(chǎn)環(huán)境。 本書的讀者對象主要包括深度學(xué)習(xí)研究人員、自然語言處理從業(yè)人員、教師和學(xué)生。本書要求讀者具有良好的Python 基礎(chǔ)知識以及機器學(xué)習(xí)和深度學(xué)習(xí)的基本知識。
精通Transformer:從零開始構(gòu)建最先進(jìn)的NLP模型 內(nèi)容簡介
AI領(lǐng)域的基石王者,那些還沉迷于CNN，RNN的工程師被警告：放棄戰(zhàn)斗吧，向Transformer投降！ 在過去的二十年中，自然語言處理研究領(lǐng)域發(fā)生了翻天覆地的變化。在這段時間里，自然語 言處理經(jīng)歷了不同的處理范式，并*終進(jìn)入了一個由神奇的Transformer體系結(jié)構(gòu)主導(dǎo)的新時代。 Transformer深度學(xué)習(xí)架構(gòu)是通過繼承許多方法而產(chǎn)生的，其中包括上下文詞嵌入、多頭注意力機制、位置編碼、并行體系結(jié)構(gòu)、模型壓縮、遷移學(xué)習(xí)、跨語言模型等。在各種基于神經(jīng)的自然語言處理方法中， Transformer架構(gòu)逐漸演變?yōu)榛谧⒁饬Φ摹熬幋a器-解碼器”體系結(jié)構(gòu)，并持續(xù)發(fā)展到今天。現(xiàn)在，我們在文獻(xiàn)中看到了這種體系結(jié)構(gòu)的新的成功變體。目前研究已經(jīng)發(fā)現(xiàn)了只使用 Transformer 架構(gòu)中編碼器部分的出色模型，如 BERT(Bidirectional Encoder Representations from Transformers,Transformers雙向編碼表示);或者只使用Transformer架構(gòu) 中解碼器部分的出色模型，如 GPT(Generated Pre -trained Transformer,生成式的預(yù)訓(xùn)練 Transformer)。 本書涵蓋了這些自然語言處理方法。基于 Hugging Face社區(qū)的Transformer庫，我們能夠輕 松地使用Transformer。 本書將循序漸進(jìn)地提供各種自然語言處理問題的解決方案：從文檔摘要到問 題回答系統(tǒng)。我們將看到，基于Transformer, 可以取得*先進(jìn)的成果。
精通Transformer:從零開始構(gòu)建最先進(jìn)的NLP模型 目錄
Transformer到底是什么，讓ChatGPT如此迷戀？
這只變形金剛，到底是只什么怪獸？
——用于自然語言處理(NLP)的神經(jīng)網(wǎng)絡(luò)架構(gòu)
第1 章 從詞袋到Transformer。本章簡要介紹了自然語言處理的歷史，并將傳統(tǒng)方法、深度學(xué)習(xí)模型(如CNIN、RNN 和LSTM) 與Transformer模型進(jìn)行了比較分析。
第2章 Transformer的實踐操作入門。本章深入探討了如何使用Transformer模型，并通過實際例子闡述了分詞器和模型，如BERT。
第3章 自編碼語言模型。本章討論了如何從零開始在任何給定語言上訓(xùn)練自編碼語言模型。訓(xùn)練過程將包括模型的預(yù)訓(xùn)練和特定任務(wù)的訓(xùn)練。
第4章 自回歸和其他語言模型。本章討論了自回歸語言模型的理論細(xì)節(jié)，并引導(dǎo)讀者如何在自己的語料庫中對模型進(jìn)行預(yù)訓(xùn)練。讀者將學(xué)習(xí)如何在自己的文本上預(yù)訓(xùn)練任何語言模型(如GPT- 2),并在各種任務(wù)(如語言生成)中使用該模型。
第5章 微調(diào)文本分類語言模型。在本章中，讀者將學(xué)習(xí)如何配置文本分類的預(yù)訓(xùn)練模型，以及如何微調(diào)文本分類下游任務(wù)的模型(如情感分析或多類別分類)。
第6章 微調(diào)標(biāo)記分類語言模型。本章講述如何微調(diào)標(biāo)記分類任務(wù)的語言模型[如命名實體識別 (NER)、詞性標(biāo)注 (POS)和問題回答 (QA)系統(tǒng)]。
第7章 文本表示。在本章中，讀者將學(xué)習(xí)文本表示技術(shù)以及如何有效地利用Transformer 體系結(jié)構(gòu)，特別是對于無監(jiān)督任務(wù)，如聚類、語義搜索和主題建模。
第8章 使用高效的Transformer。 本章展示了如何使用提煉、剪枝和量化方法，從預(yù)訓(xùn)練模型中 生成高效的模型。然后，讀者將獲得有關(guān)高效稀疏Transformer的知識，如Linformer 和 BigBird，以及如何使用這些模型。
第9章 跨語言和多語言建模。在本章中，讀者將學(xué)習(xí)多語言和跨語種語言模型預(yù)訓(xùn)練以及單語言和多語言預(yù)訓(xùn)練之間的差異。本章涉及的其他主題包括因果語言建模和翻譯語言建模。
第10章 部署 Transformer 模型。本章將詳細(xì)介紹如何在 CPU/GPU環(huán)境中，為基于 Transformer的自然語言處理解決方案提供服務(wù)。本章還將描述如何使用 TensorFlow 擴展 (TFX) 部署機器學(xué)習(xí)系統(tǒng)。
第11 章 注意力可視化與實驗跟蹤。本章涵蓋兩個不同的技術(shù)概念：注意力可視化與實驗跟蹤。 我們將使用諸如exBERT 和 BertViz之類的復(fù)雜工具進(jìn)行實驗練習(xí)。
展開全部
精通Transformer:從零開始構(gòu)建最先進(jìn)的NLP模型 作者簡介
本書由Savas Yldmnm專業(yè)人士編寫 薩瓦斯 ·伊爾蒂利姆 (Savas Yldmnm) 畢業(yè)于伊斯坦布爾技術(shù)大學(xué)計算機工程系，擁有自然 語言處理 (Natural Language Processing,NLP)專業(yè)的博士學(xué)位。目前，他是土耳其伊斯坦布爾 比爾基大學(xué)的副教授，也是加拿大瑞爾森大學(xué)的訪問研究員。他是一位積極熱情的講師和研究員， 具有20多年教授機器學(xué)習(xí)、深度學(xué)習(xí)和自然語言處理等課程的豐富經(jīng)驗。他開發(fā)了大量的開源軟件 和資源，為土耳其自然語言理解社區(qū)做出了重大貢獻(xiàn)。他還為人工智能公司的研究開發(fā)項目提供全 面的咨詢服務(wù)。
書友推薦
- >
李白與唐代文化
- >
名家?guī)阕x魯迅:故事新編
- >
推拿
- >
煙與鏡
- >
新文學(xué)天穹兩巨星--魯迅與胡適/紅燭學(xué)術(shù)叢書(紅燭學(xué)術(shù)叢書)
- >
大紅狗在馬戲團(tuán)-大紅狗克里弗-助人
- >
伊索寓言-世界文學(xué)名著典藏-全譯本
- >
【精裝繪本】畫給孩子的中國神話
本類暢銷
