深入淺出Embedding:原理解析與應用實踐 版權信息
- ISBN:9787111680642
- 條形碼:9787111680642 ; 978-7-111-68064-2
- 裝幀:一般膠版紙
- 冊數:暫無
- 重量:暫無
- 所屬分類:>>
深入淺出Embedding:原理解析與應用實踐 本書特色
適讀人群 :所有從事人工智能技術領域的研究者和開發者。【免費獲取】配套代碼+數據+共讀實戰營+作者答疑群
告別拖延癥,14天掌握Embedding(社區領讀10天+5個作業+4天實戰) 獲取方式:
1、微信關注“華章計算機”
2、在后臺回復關鍵詞:Embedding (1)作者背景資深:作者是有20余年從業經驗的AI技術專家和高級數據科學家。 (2)豪華專家陣容:黃鐵軍(中國人工智能學會會士/北京智源人工智能研究院院長)、周明(創新工場首席科學家/中國計算機學會副理事長)。 (3)內容系統全面:系統講解了Embedding的基礎、技術、原理、方法和性能優化。 (4)注重實操:詳細列舉和分析Embedding在機器學習性能提升、中英文翻譯、推薦系統等6個重要場景的應用實踐。 (5)學習門檻低:秉承復雜問題簡單化原則,避免艱澀難懂數學公式,盡可能采用可視化的表達方式,內容循序漸進。
深入淺出Embedding:原理解析與應用實踐 內容簡介
【免費獲取】配套代碼+數據+共讀實戰營+作者答疑群
告別拖延癥,14天掌握Embedding(社區領讀10天+5個作業+4天實戰)
獲取方式:
1、微信關注“華章計算機”
2、在后臺回復關鍵詞:Embedding 這是一本系統、全面、理論與實踐相結合的Embedding技術指南,由資深的AI技術專家和高級數據科學家撰寫,得到了黃鐵軍、韋青、張崢、周明等中國人工智能領域的領軍人物的一致好評和推薦。
在內容方面,本書理論與實操兼顧,一方面系統講解了Embedding的基礎、技術、原理、方法和性能優化,一方面詳細列舉和分析了Embedding在機器學習性能提升、中英文翻譯、推薦系統等6個重要場景的應用實踐;在寫作方式上,秉承復雜問題簡單化的原則,盡量避免復雜的數學公式,盡量采用可視化的表達方式,旨在降低本書的學習門檻,讓讀者能看得完、學得會。
全書一共16章,分為兩個部分:
第1部分(第1~9章)Embedding理論知識
主要講解Embedding的基礎知識、原理以及如何讓Embedding落地的相關技術,如TensorFlow和PyTorch中的Embedding層、CNN算法、RNN算法、遷移學習方法等,重點介紹了Transformer和基于它的GPT、BERT預訓練模型及BERT的多種改進版本等。
第二部分(第10 ~16章)Embedding應用實例
通過6個實例介紹了Embedding及相關技術的實際應用,包括如何使用Embedding提升傳統機器學習性,如何把Embedding技術應用到推薦系統中,如何使用Embedding技術提升NLP模型的性能等。
深入淺出Embedding:原理解析與應用實踐 目錄
前言 **部分 Embedding基礎知識 第1章 萬物皆可嵌入2 1.1 處理序列問題的一般步驟3 1.2 Word Embedding4 1.2.1 word2vec之前4 1.2.2 CBOW模型5 1.2.3 Skip-Gram模型6 1.2.4 可視化Skip-Gram模型實現過程8 1.2.5 Hierarchical Softmax優化14 1.2.6 Negative Sampling優化15 1.3 Item Embedding16 1.3.1 微軟推薦系統使用Item Embedding16 1.3.2 Airbnb推薦系統使用Item Embedding17 1.4 用Embedding處理分類特征17 1.5 Graph Embedding20 1.5.1 DeepWalk方法21 1.5.2 LINE方法21 1.5.3 node2vec方法23 1.5.4 Graph Embedding在阿里的應用23 1.5.5 知識圖譜助力推薦系統實例26 1.6 Contextual Word Embedding26 1.6.1 多種預訓練模型概述27 1.6.2 多種預訓練模型的發展脈絡29 1.6.3 各種預訓練模型的優缺點29 1.6.4 常用預訓練模型30 1.6.5 Transformer的應用32 1.7 使用Word Embedding實現中文自動摘要35 1.7.1 背景說明35 1.7.2 預處理中文語料庫35 1.7.3 生成詞向量36 1.7.4 把文檔的詞轉換為詞向量36 1.7.5 生成各主題的關鍵詞38 1.7.6 查看運行結果39 1.8 小結40 第2章 獲取Embedding的方法41 2.1 使用PyTorch的Embedding Layer41 2.1.1 語法格式41 2.1.2 簡單實例43 2.1.3 初始化44 2.2 使用TensorFlow 2.0的Embedding Layer45 2.2.1 語法格式45 2.2.2 簡單實例45 2.3 從預訓練模型獲取Embedding47 2.3.1 背景說明47 2.3.2 下載IMDB數據集47 2.3.3 進行分詞47 2.3.4 下載并預處理GloVe詞嵌入48 2.3.5 構建模型49 2.3.6 訓練模型50 2.3.7 可視化訓練結果50 2.3.8 不使用預訓練詞嵌入的情況51 2.4 小結53 第3章 計算機視覺處理54 3.1 卷積神經網絡54 3.1.1 卷積網絡的一般架構55 3.1.2 增加通道的魅力56 3.1.3 加深網絡的動機57 3.1.4 殘差連接58 3.2 使用預訓練模型59 3.2.1 遷移學習簡介59 3.2.2 使用預訓練模型的方法60 3.3 獲取預訓練模型63 3.4 使用PyTorch實現數據遷移實例64 3.4.1 特征提取實例64 3.4.2 微調實例67 3.5 小結69 第4章 文本及序列處理70 4.1 循環網絡的基本結構70 4.1.1 標準循環神經網絡71 4.1.2 深度循環神經網絡72 4.1.3 LSTM網絡結構72 4.1.4 GRU網絡結構73 4.1.5 雙向循環神經網絡74 4.2 構建一些特殊模型75 4.2.1 Encoder-Decoder模型75 4.2.2 Seq2Seq模型77 4.3 小結77 第5章 注意力機制78 5.1 注意力機制概述78 5.1.1 兩種常見的注意力機制79 5.1.2 注意力機制的本質79 5.2 帶注意力機制的Encoder-Decoder模型81 5.2.1 引入注意力機制81 5.2.2 計算注意力分配值83 5.2.3 使用PyTorch實現帶注意力機制的Encoder-Decoder模型85 5.3 可視化Transformer88 5.3.1 Transformer的頂層設計89 5.3.2 Encoder與Decoder的輸入91 5.3.3 高并發長記憶的實現91 5.3.4 為加深Transformer網絡層保駕護航的幾種方法98 5.3.5 如何自監督學習98 5.4 使用PyTorch實現Transformer101 5.4.1 Transformer背景介紹101 5.4.2 構建Encoder-Decoder模型101 5.4.3 構建Encoder102 5.4.4 構建Decoder105 5.4.5 構建MultiHeadedAttention107 5.4.6 構建前饋網絡層109 5.4.7 預處理輸入數據109 5.4.8 構建完整網絡112 5.4.9 訓練模型113 5.4.10 實現一個簡單實例117 5.5 Transformer-XL119 5.5.1 引入循環機制119 5.5.2 使用相對位置編碼121 5.5.3 Transformer-XL計算過程122 5.6 使用PyTorch構建Transformer-XL123 5.6.1 構建單個Head Attention123 5.6.2 構建MultiHeadAttention126 5.6.3 構建Decoder129 5.7 Reformer130 5.7.1 使用局部敏感哈希130 5.7.2 使用可逆殘差網絡131 5.8 小結132 第6章 從Word Embedding到ELMo133 6.1 從word2vec到ELMo133 6.2 可視化ELMo原理134 6.2.1 字符編碼層135 6.2.2 雙向語言模型137 6.2.3 生成ELMo詞嵌入138 6.3 小結139 第7章 從ELMo到BERT和GPT140 7.1 ELMo的優缺點140 7.2 可視化BERT原理141 7.2.1 BERT的整體架構141 7.2.2 BERT的輸入143 7.2.3 掩碼語言模型144 7.2.4 預測下一個句子145 7.2.5 微調146 7.2.6 使用特征提取方法147 7.3 使用PyTorch實現BERT148 7.3.1 BERTEmbedding類的代碼149 7.3.2 TransformerBlock類的代碼149 7.3.3 構建BERT的代碼150 7.4 可視化GPT原理151 7.4.1 GPT簡介151 7.4.2 GPT的整體架構151
展開全部
深入淺出Embedding:原理解析與應用實踐 作者簡介
吳茂貴
資深大數據和人工智能技術專家,在BI、數據挖掘與分析、數據倉庫、機器學習等領域工作超過20年。在基于Spark、TensorFlow、PyTorch、Keras等的機器學習和深度學習方面有大量的工程實踐實踐,對Embedding有深入研究。
著有《深度實踐Spark機器學習》《Python深度學習:基于TensorFlow》《Python深度學習:基于Pytorch》等多部著作,廣受讀者好評。 王紅星 高級數據科學家,任職于博世(中國)投資有限公司蘇州分公司,負責BOSCH數據湖,數據分析與人工智能相關的產品與服務的設計和開發。在大數據、機器學習、人工智能方面有豐富的實踐經驗。