中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大模型動力引擎——PYTORCH性能與顯存優化手冊 版權信息
- ISBN：9787302673477
- 條形碼：9787302673477 ; 978-7-302-67347-7
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
大模型動力引擎——PYTORCH性能與顯存優化手冊 本書特色
了解如何實現大模型顯存和性能優化大模型GPU顯存優化一本通
大模型動力引擎——PYTORCH性能與顯存優化手冊 內容簡介
本書致力于探索如何在大規模深度學習模型訓練中，**限度地提高性能和優化顯存使 用。本書面向深度學習從業者，尤其是希望深入了解并提升模型訓練效率的工程師與研究 人員。隨著深度學習模型和數據規模的迅速增長，如何高效利用硬件資源，減少訓練時間， 成為當前AI系統工程的關鍵挑戰。本書從硬件和軟件的基礎知識入手，逐步引導讀者理解 和掌握PyTorch的優化技巧。內容涵蓋從單機到分布式訓練，從顯存管理到性能分析的多種 優化策略，力求通過豐富的代碼實例和深入的原理講解，使讀者能夠在實踐中靈活應用這些 方法。
大模型動力引擎——PYTORCH性能與顯存優化手冊 目錄
目錄
第1章 歡迎來到這場大模型競賽 1
1.1 模型規模帶來的挑戰 2
1.2 數據規模帶來的挑戰 3
1.3 模型規模與數據增長的應對方法 4
第2章 深度學習**的硬件知識 6
2.1 CPU與內存 7
2.1.1 內存 7
2.1.2 CPU 9
2.2 硬盤 11
2.3 GPU 13
2.3.1 CPU的局限性 13
2.3.2 GPU的硬件結構 14
2.3.3 GPU編程模型及其硬件對應 18
2.3.4 GPU的關鍵性能指標 19
2.3.5 顯存與內存間的數據傳輸 19
2.4 分布式系統 22
2.4.1 單機多卡的通信 22
2.4.2 多機多卡的通信 24
2.4.3 分布式系統的數據存儲 24
第3章 深度學習**的PyTorch知識 26
3.1 PyTorch 的張量數據結構 27
3.1.1 張量的基本屬性及創建 27
3.1.2 訪問張量的數據 28
3.1.3 張量的存儲方式 29
3.1.4 張量的視圖 32
3.2 PyTorch中的算子 33
3.2.1 PyTorch的算子庫 33
3.2.2 PyTorch算子的內存分配 35
3.2.3 算子的調用過程 36
3.3 PyTorch的動態圖機制 38
3.4 PyTorch的自動微分系統 41
3.4.1 什么是自動微分 41
3.4.2 自動微分的實現 42
3.4.3 Autograd 擴展自定義算子 46
3.5 PyTorch的異步執行機制 47
第4章 定位性能瓶頸的工具和方法 51
4.1 配置性能分析所需的軟硬件環境 52
4.1.1 減少無關程序的干擾 52
4.1.2 提升PyTorch 程序的可重復性 53
4.1.3 控制GPU頻率 58
4.1.4 控制CPU的性能狀態和工作頻率 59
4.2 精確測量程序運行時間 60
4.2.1 計量CPU程序的運行時間 60
4.2.2 程序預熱和多次運行取平均 61
4.2.3 計量GPU程序的運行時間 62
4.2.4 精確計量GPU的運行時間 63
4.3 PyTorch性能分析器 64
4.3.1 性能分析 65
4.3.2 顯存分析 66
4.3.3 可視化性能圖譜 67
4.3.4 如何定位性
展開全部
大模型動力引擎——PYTORCH性能與顯存優化手冊 作者簡介
張愛玲，本科畢業于清華大學電子工程系，后在美國伊利諾伊大學香檳分校獲得計算機科學碩士學位，是AI系統工程領域的資深技術專家。作為深度學習框架PyTorch核心團隊成員，參與了多個關鍵組件的研發與優化工作。同時，她作為技術負責人主導了PyTorch/XLA和Taichi編譯器等多個具有廣泛影響力的開源項目。目前在工業界專注于大規模語言模型訓練的基礎設施開發與性能優化工作。 楊占略，清華大學本科，哥倫比亞大學碩士，資深技術專家。曾先后任職于蘋果、百度、太極圖形公司，分別從事深度學習推理框架、訓練框架PaddlePaddle以及Taichi編譯器的開發。現就職于大疆公司，聚焦于端側模型優化、推理部署相關工作。
書友推薦
- >
推拿
- >
隨園食單
- >
煙與鏡
- >
伯納黛特,你要去哪(2021新版)
- >
月亮與六便士
- >
中國歷史的瞬間
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
名家帶你讀魯迅:故事新編
本類暢銷
