掃一掃
關注中圖網
官方微博
>
Python預訓練視覺和大語言模型
本類五星書更多>
-
>
貨幣大歷史:金融霸權與大國興衰六百年
-
>
(精)方力鈞作品圖錄
-
>
《藏書報》2021合訂本
-
>
(精)中國當代書畫名家作品集·范碩:書法卷+繪畫卷(全2卷)
-
>
(噴繪樓閣版)女主臨朝:武則天的權力之路
-
>
書里掉出來一只狼+狼的故事-全2冊
-
>
奇思妙想創意玩具書(精裝4冊)
Python預訓練視覺和大語言模型 版權信息
- ISBN：9787302678311
- 條形碼：9787302678311 ; 978-7-302-67831-1
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：
Python預訓練視覺和大語言模型 本書特色
基礎模型永久改變了機器學習。從BERT到ChatGPT，從CLIP到Stable Diffusion，當數十億個參數、大數據集與成百上千個GPU相結合時，結果刷新了紀錄。《Python預訓練視覺和大語言模型》呈現的真知灼見和示例代碼將幫你在AWS和Amazon SageMaker上從頭開始預訓練和優化基礎模型，并將它們應用到整個組織的數百個用例中。
《Python預訓練視覺和大語言模型》由經驗豐富的AWS和機器學習專家Emily Webber撰寫，涵蓋的內容十分廣泛，包括構思項目，準備數據集，訓練、評估和部署大型語言、視覺及多模態模型。本書循序漸進地講述基本概念并列舉實例，指導你預訓練和準備數據集及模型，配置環境，并訓練、微調、評估、部署和優化基礎模型。
學習本書后，你將能按照縮放法則在多個GPU上分布模型和數據集，消除偏差，實現高吞吐量以及構建部署管道。*后，你將完全有能力開發個人項目，對基礎模型進行預訓練和微調。
Python預訓練視覺和大語言模型 內容簡介
●為預訓練和微調尋找合適的用例和數據集
●使用定制的加速器和GPU,為大規模訓練做好準備
●配置AWS和SageMaker環境,*大限度地提高性能
●根據模型和約束條件選擇參數
●使用多種并行方式分發模型和數據集
●利用作業重啟、間歇性健康檢查等方式避開陷阱
●定性和定量地評估模型
●部署模型，在運行時進行改進和監控
Python預訓練視覺和大語言模型 目錄
第Ⅰ部分 預訓練前第1章 預訓練基礎模型簡介 31.1 預訓練和微調藝術 41.2 Transformer模型架構和自注意力 61.3 *先進的視覺模型和語言模型 81.3.1 截至2023年4月的頂級視覺模型 91.3.2 對比預訓練與自然語言監督 111.3.3 截至2023年4月的頂級語言模型 121.3.4 語言技術重點——因果建模和縮放法則 141.4 編碼器和解碼器 151.5 本章小結 17第2章 數據集準備：第1部分 192.1 為基礎建模尋找數據集和用例 192.2 你的數據集有多大區別 23第Ⅰ部分 預訓練前第1章 預訓練基礎模型簡介 31.1 預訓練和微調藝術 41.2 Transformer模型架構和自注意力 61.3 *先進的視覺模型和語言模型 81.3.1 截至2023年4月的頂級視覺模型 91.3.2 對比預訓練與自然語言監督 111.3.3 截至2023年4月的頂級語言模型 121.3.4 語言技術重點——因果建模和縮放法則 141.4 編碼器和解碼器 151.5 本章小結 17第2章 數據集準備：第1部分 192.1 為基礎建模尋找數據集和用例 192.2 你的數據集有多大區別 232.2.1 使用縮放法則調整數據集的大小 252.2.2 基礎——神經語言模型的縮放法則 262.3 偏差檢測和減少 282.4 增強數據集——多語言、多模態和增強 302.5 本章小結 32第3章 模型準備 353.1 尋找*優基礎模型 353.1.1 從*小的基礎模型開始 373.1.2 權衡——簡單與復雜 373.1.3 權衡——應用于許多用例，而非局限于一個用例 383.1.4 找到*優基礎模型的技術方法 393.2 尋找預訓練損失函數 393.2.1 視覺的預訓練損失函數——ViT和CoCa 413.2.2 語言中的預訓練損失函數——Alexa教師模型 443.2.3 更改預訓練損失函數 463.3 設定模型大小 463.3.1 解決模型大小問題的實用方法 493.3.2 并非所有縮放法則的效果都相同 493.3.3 規劃未來的實驗 503.4 本章小結 51
第Ⅱ部分 配置環境 第4章 云容器和云加速器 554.1 什么是加速器，為什么它們很重要 554.2 準備使用加速器 584.3 優化加速器性能 634.3.1 超參數 634.3.2 AWS上加速器的基礎設施優化 644.4 加速器性能故障排除 654.5 本章小結 67第5章 分布式基礎知識 695.1 理解關鍵概念——數據和模型并行性 695.1.1 什么是數據并行 705.1.2 什么是模型并行 715.2 將模型與數據并行相結合 735.3 Amazon SageMaker分布式訓練 745.3.1 分布式訓練軟件 755.3.2 SM DDP 765.3.3 SMP庫 775.4 減少GPU內存的高級技術 795.4.1 張量并行性 805.4.2 優化器狀態分片 815.4.3 激活檢查點 815.4.4 分片數據并行性 815.5 當今模型的示例 825.5.1 Stable Diffusion——大規模數據并行 825.5.2 GPT-3——大規模的模型和數據并行性 835.6 本章小結 84第6章 數據集準備：第2部分 856.1 Python中的數據加載器 866.2 構建和測試自己的數據加載器——來自Stable Diffusion的案例研究 886.3 創建嵌入——詞元分析器和智能功能的其他關鍵步驟 916.4 在Amazon SageMaker上優化數據管道 956.5 在AWS上大規模轉換深度學習數據集 986.6 本章小結 100
第Ⅲ部分 訓練模型第7章 尋找合適的超參數 1037.1 超參數——批量大小、學習率等 1037.2 微調策略 1057.3 基礎模型的超參數微調 1087.4 使用SageMaker根據world size放大 1097.5 本章小結 113第8章 SageMaker的大規模訓練 1158.1 優化SageMaker訓練的腳本 1158.1.1 導入程序包 1168.1.2 參數解析 1168.1.3 函數定義和用法 1188.2 SageMaker訓練的頂級可用性功能 1218.2.1 用于快速實驗的暖池 1218.2.2 SSM和SSH進入訓練實例 1228.2.3 跟蹤作業和實驗以復制結果 1238.3 本章小結 127第9章 高級訓練概念 1299.1 評估和提高吞吐量 1299.2 使用Flash注意力加速訓練運行 1329.3 通過編譯加快作業速度 1339.4 Amazon SageMaker訓練編譯器和Neo 1359.5 在亞馬遜的Trainium和Inferentia自定義硬件上運行編譯后的模型 1379.6 求解*優訓練時間 1389.7 本章小結 140
第Ⅳ部分 評估模型 第10章 微調和評估 14310.1 對語言、文本和其間的一切進行微調 14310.1.1 微調純語言模型 14510.1.2 微調純視覺模型 14710.1.3 微調視覺語言模型 14910.2 評估基礎模型 15010.2.1 視覺模型評估指標 15010.2.2 語言模型評估指標 15210.2.3 聯合視覺-語言任務中的模型評估指標 15410.2.4 通過SageMaker Ground Truth將人類視角與標簽相結合 15610.3 從人類反饋中強化學習 15710.4 本章小結 158第11章 檢測、減少和監控偏差 16111.1 檢測機器學習模型中的偏差 16111.2 減少視覺和語言模型中的偏差 16511.2.1 語言模型中的偏差減少——反事實數據增強和公平損失函數 16611.2.2 視覺模型中的偏差減少——減少相關性并解決采樣問題 16911.3 監控機器學習模型中的偏差 17011.4 使用SageMaker Clarify檢測、減輕和監控偏差 17211.5 本章小結 173
第Ⅴ部分 部署模型第12章 如何部署模型 17712.1 模型部署的定義 17712.2 托管模型的*優方式 17912.3 為什么縮小模型，以及如何縮小 18212.3.1 模型編譯 18312.3.2 知識蒸餾 18312.3.3 量化 18412.4 在SageMaker上托管分布式模型 18412.5 模型服務器和端到端托管優化 18612.6 本章小結 188第13章 提示工程 18913.1 提示工程——以少搏多的藝術 18913.2 從少樣本學習到零樣本學習 19013.3 文本到圖像提示工程的注意之處 19313.4 圖像到圖像提示工程的注意之處 19613.4.1 放大 19613.4.2 掩膜 19613.4.3 使用DreamBooth提示目標到圖像 19713.5 提示大型語言模型 19813.5.1 指令微調 19813.5.2 思維鏈提示 19913.5.3 摘要 20013.5.4 防止提示注入和越獄 20013.6 高級技術——前綴和提示微調 20113.6.1 前綴微調 20113.6.2 提示微調 20313.7 本章小結 204第14章 視覺和語言MLOps 20514.1 什么是MLOps？ 20514.2 持續集成和持續部署 20814.3 模型監控和人機回環 21014.4 基礎模型的MLOps 21214.5 視覺MLOps 21314.6 AWS為MLOps提供的服務 21514.7 本章小結 218第15章 預訓練基礎模型的未來趨勢 21915.1 構建LLM應用程序的技術 21915.1.1 使用開源堆棧構建交互式對話應用程序 22015.1.2 使用RAG確保LLM應用程序的高準確性 22215.1.3 生成是新的分類嗎？ 22315.1.4 用LLM構建應用的人性化設計 22415.2 其他生成式模式 22515.3 基礎模型中的AWS產品 22615.4 基礎模型的未來 22815.5 預訓練的未來 22915.6 本章小結 232——?以下內容可掃描封底二維碼下載?——參考文獻 233
展開全部
Python預訓練視覺和大語言模型 作者簡介
Emily Webber是AWS的首席ML專家解決方案架構師，專門從事大型語言和視覺模型的分布式訓練。Emily在AWS社區廣為人知，在YouTube上發布了由16個視頻組成的SageMaker系列，視頻播放量高達21.1萬次。Emily曾在2019年倫敦人工智能大會上發表過主題演講。
書友推薦
- >
名家帶你讀魯迅:故事新編
- >
月亮與六便士
- >
隨園食單
- >
龍榆生：詞曲概論/大家小書
- >
莉莉和章魚
- >
經典常談
- >
人文閱讀與收藏·良友文學叢書:一天的工作
- >
我與地壇
本類暢銷
