掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
并行編程原理與程序設計 版權信息
- ISBN：9787030694829
- 條形碼：9787030694829 ; 978-7-03-069482-9
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
并行編程原理與程序設計 本書特色
適讀人群 ：高年級本科生、理工科計算機及非計算機類專業研究生，廣大的并行程序設計方法學習者，具有初步的C語言基礎的讀者本書包含了CPU并行編程和GPU并行編程，填補國內空白，具有很好的實用價值
并行編程原理與程序設計 內容簡介
本書主要介紹目前很常用的幾種并行程序設計思路與方法，主要內容包括并行計算基礎、OpenMP并行程序設計簡介、MPI并行程序設計、CUDA并行程序設計及求解聲波方程的并行程序五個部分。其中OpenMP對應共享內存的CPU并行編程，MPI對應消息傳遞的CPU并行編程，CUDA對應GPU編程。因此，通過對本書的學習，可以掌握目前很常用的幾種并行編程方法。
并行編程原理與程序設計 目錄
目錄
前言
**篇 并行計算基礎
第1章 并行計算機硬件基礎 3
1.1 并行計算 3
1.1.1 并行計算的概念 3
1.1.2 并行計算與計算科學 3
1.1.3 當代科學與工程問題的計算需求 4
1.2 并行計算機硬件簡介 4
1.2.1 并行計算機的發展歷史 4
1.2.2 并行計算機的分類 8
1.2.3 并行計算機的體系結構 9
1.3 當代并行計算機系統簡介 14
1.3.1 共享存儲多處理機系統 15
1.3.2 分布存儲多處理機系統 15
1.3.3 集群系統 17
1.4 并行計算機的一些基本性能指標 24
1.4.1 CPU和存儲器的某些性能指標 24
1.4.2 通信開銷 25
1.4.3 機器的成本、價格與性價比 26
第2章 并行程序設計基礎 28
2.1 并行算法的基礎知識 28
2.1.1 并行算法領域的一些基本概念 28
2.1.2 并行程序開發策略與并行算法的描述方法 30
2.1.3 并行算法中的同步與通信 31
2.2 并行程序設計模型 32
2.2.1 計算π的樣本程序 32
2.2.2 數據并行模型 33
2.2.3 消息傳遞模型 34
2.2.4 共享變量模型 36
2.3 并行程序設計方法 38
2.3.1 PCAM并行程序設計思路 38
2.3.2 并行編程語言 41
第二篇 OpenMP并行程序設計簡介
第3章 OpenMP介紹 55
3.1 什么是OpenMP 55
3.2 共享內存式并行計算 55
3.3 OpenMP的發展歷程 56
3.4 Windows平臺下OpenMP環境搭建 56
第4章 OpenMP指令結構 59
4.1 編譯指導語句的一般形式 59
4.2 主要指令 60
4.3 主要子句 61
4.4 常用庫函數 62
第5章 OpenMP常用指令的用法 63
5.1 數據管理 63
5.1.1 Private子句 63
5.1.2 Firstprivate/Lastprivate子句 64
5.1.3 Shared子句 65
5.1.4 Default子句 66
5.1.5 Threadprivate子句 67
5.1.6 Copyin、copyprivate子句 68
5.1.7 Reduction子句 69
5.2 并行控制 70
5.2.1 Parallel指令 70
5.2.2 For指令 75
5.2.3 Schedule子句 76
5.2.4 Sections指令 80
5.2.5 Single指令 82
5.3 同步管理 82
5.3.1 Critical指令 83
5.3.2 Atomic指令 84
5.3.3 Barrier指令 85
5.3.4 Ordered指令 86
5.3.5 Master指令 86
5.3.6 Flush指令 87
5.4 常用庫函數 87
5.4.1 運行時庫函數 87
5.4.2 鎖管理 88
5.4.3 環境變量 90
第6章 OpenMP實例 91
6.1 循環實例 91
6.2 并行程序的優化 93
6.2.1 臨界區實現 93
6.2.2 原子操作實現 95
6.2.3 歸約實現 95
6.3 快速排序并行算法 96
第三篇 MPI并行程序設計
第7章 MPI編程基礎 103
7.1 MPI簡介 103
7.1.1 MPI的含義 103
7.1.2 MPI的目標 103
7.1.3 MPI的產生 103
7.1.4 MPI的語言綁定 104
7.1.5 目前MPI的主要實現 104
7.2 一個簡單的MPI程序 105
7.2.1 MPI實現的“Hello World!” 105
7.2.2 MPI程序的框架結構 109
7.2.3 MPI程序的一些慣例 109
7.3 6個基本函數組成的MPI子集 109
7.3.1 子集介紹 109
7.3.2 MPI預定義的數據類型 114
7.3.3 MPI數據類型匹配 115
7.3.4 MPI消息 117
7.4 簡單的MPI程序示例 118
7.4.1 求二維數據中各元素絕對值的*大值 119
7.4.2 用MPI實現計時功能 121
7.4.3 獲取機器名字與MPI版本號 123
7.4.4 是否初始化及錯誤退出 124
7.4.5 環形消息傳遞 125
7.4.6 所有進程相互問候 126
7.4.7 任意源和任意標識的使用 128
7.4.8 編寫安全的MPI程序 129
第8章 MPI的安裝與并行編程環境的設置 132
8.1 Linux環境下的MPICH2安裝與設置 132
8.2 Windows環境下MPICH2的安裝與設置 133
8.2.1 安裝 133
8.2.2 編譯運行C+MPI程序 134
8.2.3 編譯運行Fortran+MPI程序 138
第9章 對等模式與主從模式的MPI程序設計 141
9.1 對等模式MPI程序設計 141
9.1.1 問題描述——雅可比迭代 141
9.1.2 用MPI程序實現雅可比迭代 142
9.1.3 采用捆綁發送接收實現雅可比迭代 146
9.1.4 引入虛擬進程后雅可比迭代的實現 151
9.2 主從模式MPI程序設計 155
9.2.1 矩陣向量乘 155
9.2.2 主進程打印各從進程的消息 159
第10章 MPI的四種通信模式 162
10.1 標準通信模式 162
10.2 緩存通信模式 163
10.3 同步通信模式 165
10.4 就緒通信模式 167
第11章 MPI的非阻塞通信 170
11.1 非阻塞通信簡介 170
11.1.1 阻塞通信 170
11.1.2 非阻塞通信 171
11.2 非阻塞標準發送與接收 173
11.3 非阻塞通信與其他三種通信模式的結合 174
11.4 非阻塞通信的完成與檢測 175
11.4.1 單個非阻塞通信的完成與檢測 175
11.4.2 多個非阻塞通信的完成與檢測 176
11.5 非阻塞通信對象 178
11.5.1 非阻塞通信的取消 179
11.5.2 非阻塞通信對象的釋放 180
11.5.3 消息到達的檢查 181
11.5.4 用非阻塞通信來實現雅可比迭代 182
11.6 重復非阻塞通信 185
第12章 MPI的組通信調用 190
12.1 組通信概述 190
12.2 組通信的通信功能 191
12.2.1 廣播 191
12.2.2 收集 192
12.2.3 散發 196
12.2.4 組收集 199
12.2.5 全互換 201
12.3 組通信的同步功能 204
12.4 組通信的計算功能 205
12.4.1 歸約 205
12.4.2 MPI的內置歸約算符 206
12.4.3 程序舉例 207
12.4.4 組歸約 209
12.4.5 歸約并散發 211
12.4.6 掃描 212
12.4.7 不同類型歸約操作的對比 213
12.4.8 MINLOC和MAXLOC 215
12.4.9 用戶自定義的歸約操作 216
第13章 MPI的派生數據類型 220
13.1 類型圖 220
13.2 新數據類型的定義 221
13.2.1 MPI提供的數據類型生成器 221
13.2.2 新類型遞交和釋放 226
13.2.3 地址函數 227
13.2.4 與數據類型有關的調用 228
13.2.5 下界類型和上界類型 231
13.3 例題 232
13.4 打包與解包 236
第14章 MPI的進程組和通信域 239
14.1 簡介 239
14.2 進程組和通信域的管理 239
14.2.1 MPI的進程組管理接口 240
14.2.2 通信域的管理 245
14.3 組間通信域 250
第15章 MPI擴展 255
15.1 MPI的動態進程管理 255
15.1.1 組間通信域 255
15.1.2 動態進程的創建 257
15.1.3 獨立進程間的通信 260
15.1.4 基于socket的通信 263
15.2 MPI的遠程存儲訪問 263
15.2.1 窗口創建與窗口操作 264
15.2.2 窗口同步管理 267
15.3 并行I/O 275
15.3.1 并行文件管理的基本操作 276
15.3.2 顯式指定偏移量的并行文件讀寫 279
15.3.3 多視口的并行文件并行讀寫 283
15.3.4 共享文件指針讀寫 291
第16章 MPI函數調用原型與簡單解釋 297
16.1 MPI-1與C語言的接口 297
16.2 MPI-1與Fortran語言的接口 305
16.3 MPI-2與C語言的接口 314
16.4 MPI-2與Fortran語言的接口 324
第四篇 CUDA并行程序設計
第17章 GPU簡介 339
17.1 NVIDIA GPU發展簡介 339
17.2 GPU硬件架構 340
17.2.1 圖形顯卡概覽 340
17.2.2 PCI-E總線 341
17.2.3 顯存 342
17.2.4 GPU芯片 343
17.3 基于GPU的程序開發 344
17.3.1 傳統GPU開發 344
17.3.2 CUDA開發 344
第18章 CUDA安裝與編譯 346
18.1 CUDA函數庫與CUDA C++語言 346
18.1.1 CUDA API和函數庫 346
18.1.2 CUDA C++語言 347
18.1.3 CUDA C++拓展限定符語法 348
18.2 CUDA的安裝與配置 351
18.2.1 開發環境 351
18.2.2 安裝平臺 354
18.2.3 CUDA安裝與配置 355
18.3 CUDA編譯與驅動 357
18.3.1 Emu調試 357
18.3.2 編譯相關 358
18.3.3 錯誤處理 359
18.3.4 計算模式 359
第19章 CUDA編程基礎 360
19.1 主機與設備 360
19.2 核函數的定義與調用 362
19.3 設備中的空間管理與數據傳輸 363
19.4 線程結構 365
19.5 硬件映射 370
19.5.1 計算單元 370
19.5.2 Warp 372
19.5.3 執行模型 372
19.6 存儲器類型 373
19.6.1 寄存器 374
19.6.2 局部存儲器 375
19.6.3 共享存儲器 3
前言
**篇 并行計算基礎
第1章 并行計算機硬件基礎 3
1.1 并行計算 3
1.1.1 并行計算的概念 3
1.1.2 并行計算與計算科學 3
1.1.3 當代科學與工程問題的計算需求 4
1.2 并行計算機硬件簡介 4
1.2.1 并行計算機的發展歷史 4
1.2.2 并行計算機的分類 8
1.2.3 并行計算機的體系結構 9
1.3 當代并行計算機系統簡介 14
1.3.1 共享存儲多處理機系統 15
1.3.2 分布存儲多處理機系統 15
1.3.3 集群系統 17
1.4 并行計算機的一些基本性能指標 24
1.4.1 CPU和存儲器的某些性能指標 24
1.4.2 通信開銷 25
1.4.3 機器的成本、價格與性價比 26
第2章 并行程序設計基礎 28
2.1 并行算法的基礎知識 28
2.1.1 并行算法領域的一些基本概念 28
2.1.2 并行程序開發策略與并行算法的描述方法 30
2.1.3 并行算法中的同步與通信 31
2.2 并行程序設計模型 32
2.2.1 計算π的樣本程序 32
2.2.2 數據并行模型 33
2.2.3 消息傳遞模型 34
2.2.4 共享變量模型 36
2.3 并行程序設計方法 38
2.3.1 PCAM并行程序設計思路 38
2.3.2 并行編程語言 41
第二篇 OpenMP并行程序設計簡介
第3章 OpenMP介紹 55
3.1 什么是OpenMP 55
3.2 共享內存式并行計算 55
3.3 OpenMP的發展歷程 56
3.4 Windows平臺下OpenMP環境搭建 56
第4章 OpenMP指令結構 59
4.1 編譯指導語句的一般形式 59
4.2 主要指令 60
4.3 主要子句 61
4.4 常用庫函數 62
第5章 OpenMP常用指令的用法 63
5.1 數據管理 63
5.1.1 Private子句 63
5.1.2 Firstprivate/Lastprivate子句 64
5.1.3 Shared子句 65
5.1.4 Default子句 66
5.1.5 Threadprivate子句 67
5.1.6 Copyin、copyprivate子句 68
5.1.7 Reduction子句 69
5.2 并行控制 70
5.2.1 Parallel指令 70
5.2.2 For指令 75
5.2.3 Schedule子句 76
5.2.4 Sections指令 80
5.2.5 Single指令 82
5.3 同步管理 82
5.3.1 Critical指令 83
5.3.2 Atomic指令 84
5.3.3 Barrier指令 85
5.3.4 Ordered指令 86
5.3.5 Master指令 86
5.3.6 Flush指令 87
5.4 常用庫函數 87
5.4.1 運行時庫函數 87
5.4.2 鎖管理 88
5.4.3 環境變量 90
第6章 OpenMP實例 91
6.1 循環實例 91
6.2 并行程序的優化 93
6.2.1 臨界區實現 93
6.2.2 原子操作實現 95
6.2.3 歸約實現 95
6.3 快速排序并行算法 96
第三篇 MPI并行程序設計
第7章 MPI編程基礎 103
7.1 MPI簡介 103
7.1.1 MPI的含義 103
7.1.2 MPI的目標 103
7.1.3 MPI的產生 103
7.1.4 MPI的語言綁定 104
7.1.5 目前MPI的主要實現 104
7.2 一個簡單的MPI程序 105
7.2.1 MPI實現的“Hello World!” 105
7.2.2 MPI程序的框架結構 109
7.2.3 MPI程序的一些慣例 109
7.3 6個基本函數組成的MPI子集 109
7.3.1 子集介紹 109
7.3.2 MPI預定義的數據類型 114
7.3.3 MPI數據類型匹配 115
7.3.4 MPI消息 117
7.4 簡單的MPI程序示例 118
7.4.1 求二維數據中各元素絕對值的*大值 119
7.4.2 用MPI實現計時功能 121
7.4.3 獲取機器名字與MPI版本號 123
7.4.4 是否初始化及錯誤退出 124
7.4.5 環形消息傳遞 125
7.4.6 所有進程相互問候 126
7.4.7 任意源和任意標識的使用 128
7.4.8 編寫安全的MPI程序 129
第8章 MPI的安裝與并行編程環境的設置 132
8.1 Linux環境下的MPICH2安裝與設置 132
8.2 Windows環境下MPICH2的安裝與設置 133
8.2.1 安裝 133
8.2.2 編譯運行C+MPI程序 134
8.2.3 編譯運行Fortran+MPI程序 138
第9章 對等模式與主從模式的MPI程序設計 141
9.1 對等模式MPI程序設計 141
9.1.1 問題描述——雅可比迭代 141
9.1.2 用MPI程序實現雅可比迭代 142
9.1.3 采用捆綁發送接收實現雅可比迭代 146
9.1.4 引入虛擬進程后雅可比迭代的實現 151
9.2 主從模式MPI程序設計 155
9.2.1 矩陣向量乘 155
9.2.2 主進程打印各從進程的消息 159
第10章 MPI的四種通信模式 162
10.1 標準通信模式 162
10.2 緩存通信模式 163
10.3 同步通信模式 165
10.4 就緒通信模式 167
第11章 MPI的非阻塞通信 170
11.1 非阻塞通信簡介 170
11.1.1 阻塞通信 170
11.1.2 非阻塞通信 171
11.2 非阻塞標準發送與接收 173
11.3 非阻塞通信與其他三種通信模式的結合 174
11.4 非阻塞通信的完成與檢測 175
11.4.1 單個非阻塞通信的完成與檢測 175
11.4.2 多個非阻塞通信的完成與檢測 176
11.5 非阻塞通信對象 178
11.5.1 非阻塞通信的取消 179
11.5.2 非阻塞通信對象的釋放 180
11.5.3 消息到達的檢查 181
11.5.4 用非阻塞通信來實現雅可比迭代 182
11.6 重復非阻塞通信 185
第12章 MPI的組通信調用 190
12.1 組通信概述 190
12.2 組通信的通信功能 191
12.2.1 廣播 191
12.2.2 收集 192
12.2.3 散發 196
12.2.4 組收集 199
12.2.5 全互換 201
12.3 組通信的同步功能 204
12.4 組通信的計算功能 205
12.4.1 歸約 205
12.4.2 MPI的內置歸約算符 206
12.4.3 程序舉例 207
12.4.4 組歸約 209
12.4.5 歸約并散發 211
12.4.6 掃描 212
12.4.7 不同類型歸約操作的對比 213
12.4.8 MINLOC和MAXLOC 215
12.4.9 用戶自定義的歸約操作 216
第13章 MPI的派生數據類型 220
13.1 類型圖 220
13.2 新數據類型的定義 221
13.2.1 MPI提供的數據類型生成器 221
13.2.2 新類型遞交和釋放 226
13.2.3 地址函數 227
13.2.4 與數據類型有關的調用 228
13.2.5 下界類型和上界類型 231
13.3 例題 232
13.4 打包與解包 236
第14章 MPI的進程組和通信域 239
14.1 簡介 239
14.2 進程組和通信域的管理 239
14.2.1 MPI的進程組管理接口 240
14.2.2 通信域的管理 245
14.3 組間通信域 250
第15章 MPI擴展 255
15.1 MPI的動態進程管理 255
15.1.1 組間通信域 255
15.1.2 動態進程的創建 257
15.1.3 獨立進程間的通信 260
15.1.4 基于socket的通信 263
15.2 MPI的遠程存儲訪問 263
15.2.1 窗口創建與窗口操作 264
15.2.2 窗口同步管理 267
15.3 并行I/O 275
15.3.1 并行文件管理的基本操作 276
15.3.2 顯式指定偏移量的并行文件讀寫 279
15.3.3 多視口的并行文件并行讀寫 283
15.3.4 共享文件指針讀寫 291
第16章 MPI函數調用原型與簡單解釋 297
16.1 MPI-1與C語言的接口 297
16.2 MPI-1與Fortran語言的接口 305
16.3 MPI-2與C語言的接口 314
16.4 MPI-2與Fortran語言的接口 324
第四篇 CUDA并行程序設計
第17章 GPU簡介 339
17.1 NVIDIA GPU發展簡介 339
17.2 GPU硬件架構 340
17.2.1 圖形顯卡概覽 340
17.2.2 PCI-E總線 341
17.2.3 顯存 342
17.2.4 GPU芯片 343
17.3 基于GPU的程序開發 344
17.3.1 傳統GPU開發 344
17.3.2 CUDA開發 344
第18章 CUDA安裝與編譯 346
18.1 CUDA函數庫與CUDA C++語言 346
18.1.1 CUDA API和函數庫 346
18.1.2 CUDA C++語言 347
18.1.3 CUDA C++拓展限定符語法 348
18.2 CUDA的安裝與配置 351
18.2.1 開發環境 351
18.2.2 安裝平臺 354
18.2.3 CUDA安裝與配置 355
18.3 CUDA編譯與驅動 357
18.3.1 Emu調試 357
18.3.2 編譯相關 358
18.3.3 錯誤處理 359
18.3.4 計算模式 359
第19章 CUDA編程基礎 360
19.1 主機與設備 360
19.2 核函數的定義與調用 362
19.3 設備中的空間管理與數據傳輸 363
19.4 線程結構 365
19.5 硬件映射 370
19.5.1 計算單元 370
19.5.2 Warp 372
19.5.3 執行模型 372
19.6 存儲器類型 373
19.6.1 寄存器 374
19.6.2 局部存儲器 375
19.6.3 共享存儲器 3
展開全部
并行編程原理與程序設計 節選
**篇 并行計算基礎 這一篇主要介紹并行計算的軟硬件基礎，包括并行計算機硬件基礎(第1章)和并行程序設計基礎(第2章)兩部分，為后續并行編程方法的學習提供必需的儲備知識。 第1章為硬件基礎部分。首先介紹了并行計算的概念，分析了并行計算和計算科學之間的關系及當代科學與工程問題的計算需求，正是這些需求推動了并行算法與并行計算機軟硬件的發展；然后介紹并行計算機的發展歷史、分類、體系結構與存儲結構模型，并對目前常見的共享存儲多處理機系統、分布存儲多處理機系統和集群系統進行了簡要介紹；*后介紹了并行計算機的一些基本性能指標。 第2章為軟件基礎部分。首先給出了并行算法、進程、線程及加速比和效率等并行計算領域的基本概念，簡要介紹了并行程序的三種開發策略和并行算法的描述方法；然后通過一個計算?的樣本程序介紹了數據并行模型、消息傳遞模型和共享變量模型的主要特點和實現思路，并對PCAM并行程序設計思路進行了較為詳細的介紹；*后對HPF、PVM、OpenMP、MPI及CUDA等目前*常用的并行程序設計工具進行了介紹。 第1章 并行計算機硬件基礎 1.1 并行計算 1.1.1 并行計算的概念 并行計算是相對于串行計算來說的，是一種可以同時執行多個指令的計算方法，也可以同時使用多種計算資源解決計算問題，其目的一般有：①通過利用多個CPU或GPU等資源提供更高的計算效率；②通過利用多個處理器的內存或顯存等資源擴大問題求解規模，提供更強的計算能力。并行計算可分為時間上的并行和空間上的并行，時間上的并行指流水線技術，空間上的并行指用多個處理器并發的執行計算。并行計算和高性能計算、超級計算是同義詞，因為任何高性能計算和超級計算總離不開并行技術。 并行計算的基本思想是用多個處理器來協同求解同一問題，將被求解的問題分解成若干部分，各部分均由一個獨立的處理機來計算。并行計算系統既可以是專門設計的、含有多個處理器的超級計算機，也可以是以某種方式互連的若干臺獨立計算機構成的集群。 1.1.2 并行計算與計算科學 隨著計算機和計算方法的飛速發展，幾乎所有的學科都走向定量化和精確化，產生了諸如計算物理、計算化學、計算生物學、計算地球物理學、計算氣象學和計算材料科學等的計算科學，逐漸形成了一門計算性的學科分支—計算科學與工程。目前，計算科學已經和理論科學、實驗科學并列成為第三門科學，它們彼此相輔相成地推動科學發展與社會進步。許多情況下，由于理論模型復雜甚至理論尚未建立，或者實驗費用昂貴甚至實驗無法進行，此時計算就成為求解問題的唯一或主要手段。計算科學極大地增強了人們從事科學研究的能力，加速科技向生產力的轉化過程，深刻地改變著人類認識世界和改造世界的方法和途徑。計算科學的理論和方法作為新的研究手段和新的設計與制造技術的理論基礎，正推動著當代科技向縱深發展。 計算科學涉及的大型科學工程計算問題往往需要數學家、工程師和計算機科學家進行跨學科和跨行業協同研究，一方面，它需要運用許多基礎數學理論，另一方面又需要熟悉某一特定應用領域的背景知識，并且還需要充分掌握和運用先進的計算設備。所以今后的科學與工程計算工作者應盡可能兼備數學、物理、工程科學和計算機科學等多方面的知識，并善于應用超級計算機進行大規模數值試驗與分析。 1.1.3 當代科學與工程問題的計算需求 人類對計算機性能的要求是無止境的，在諸如物理現象模擬、工程設計和自動化、能源勘探、醫學、軍事及基礎理論研究等領域中都對計算提出了極高要求。例如，在氣象預報時，要提高全球氣象預報的準確性，在經度、緯度和大氣層方向上至少要取200 × 100 × 20 = 40萬個網格點。中期天氣預報有的模式需要635萬個點，內存需要幾十千兆字節，總運算量達25萬億次，并要求在不到2小時內完成48小時的天氣預報。當計算能力不足時，只好降低結果的分辨率，簡化計算方案，從而影響了預報的準確度。又如，在進行油田“油藏模擬”時，假定一個油田有上萬口井，每口井模擬時至少要取8 × 8 × 50個點，則總的變量個數可高達千萬量級，現有的串行計算機很難高效地完成這類問題中的計算工作。此外，在三維地震勘探數值模擬或偏移成像時，往往需要取2000 × 2000 × 2000個網格點的變量進行運算，其計算量更大，串行計算機根本無法勝任，必須借助規模龐大的集群來完成計算工作。其他應用領域包括數字核試驗、航空航天飛行器的設計、原子物理過程微觀世界的模擬、材料科學計算、環境資源以及生物計算等。這些重大的計算問題，往往涉及不規則復雜結構、不均勻復合材料、非線性的動力學系統等復雜數學物理問題。要對這些復雜的非線性數學物理方程進行大規模和高精度的計算，在一般的計算機上用傳統的計算方法往往無能為力。 目前科學界和工業界對高速并行計算的需求是廣泛的，歸納起來主要有三種類型的應用需求：①計算密集應用，如大型科學工程計算與數值模擬等；②數據密集型應用，如數字圖書館、數據倉庫、數據挖掘和計算可視化等；③網絡密集型應用，如協同工作、遙控和遠程醫療診斷等。 這些重大的應用需求推動了當代計算技術的迅速發展。我們也可以從評測計算機性能的單位量詞證實業界對計算能力需求的不斷提高：20世紀70年代到80年代，常用Mflops(每秒百萬次浮點運算)作為評測計算機性能的指標；20世紀80年代中期又增用 Gflops(每秒10億次浮點運算)作為評測計算機性能的指標；近年來由于大規模并行機的問世，Gflops亦嫌太小，又出現了采用Tflops(每秒萬億次浮點運算)作為評測計算機性能的指標；現在Pflops(每秒千萬億次浮點運算)的計算機的預研工作正在進行。這種計算機速度單位量詞的演變，從M(Mega=106)到G(Giga=109)到T(Tera=1012)一直到P(Peta=1015)，反映了計算機本身速度的驚人的改變，而其背后的驅動力就是那些挑戰性的應用需求。 1.2 并行計算機硬件簡介 1.2.1 并行計算機的發展歷史 并行計算機從20世紀70年代開始快速發展，到20世紀80年代出現了蓬勃發展和百家爭鳴的局面，20世紀90年代體系結構框架趨于統一，21世紀初期，集群技術成為一個新的快速發展熱點。目前，并行計算機技術日趨成熟，下面以時間為線索簡要介紹并行計算機的發展歷史。 20世紀70年代誕生了世界上**臺并行計算機ILLIAC IV(伊利阿克IV計算機)，它包含32個處理單元，具有可擴展性，其計算速度相當于當時性能*高的CDC 7600計算機速度的2～6倍，但在編程模式上與傳統的大型機相差很大。之后誕生的并行機還有ICLDAP、Good-year MPP，以及向量機CRAY-1、STAR-100等，它們都屬于SIMD(single instruction multiple data，單指令多數據)類型，其中CRAY-1獲得了很好的向量計算效果。這些并行機的出現引起了人們的極大興趣，吸引了大量的專家學者從事并行計算機的研制和并行程序的設計，為20世紀80年代并行機的發展奠定了基礎。 20世紀80年代早期，以MIMD(multiple instruction multiple data，多指令多數據)并行機的研制為主，首先誕生的是Dendlcor HEP，含16臺處理機，共享存儲，能同時支持細粒度和粗粒度并行，并且被應用到實際計算中，使許多人學會了并行計算。之后誕生了共享存儲向量多處理機CRAY X-MP/22(2個向量機節點)、IBM3090(6個向量機節點)，取得了很好的并行計算性能。同時，以超立方體結構連接的分布式存儲MIMD結構原型機開始出現。 20世紀80年代中期，共享存儲多處理機系統得到了穩定發展。兩個成功的機器為Sequent(20個節點)、Encore(16～32個節點)，它們提供穩定的UNIX操作系統，實現用戶間的分時共享，對當時VAX系列串行機構成了嚴重威脅。同時，還誕生了8個節點的向量多處理機Alliant，Alliant提供了非常好的自動向量并行編譯技術；誕生了4個節點的向量處理機CRAY-2。這些向量多處理機系統在實際應用中均取得了巨大的成功。與此同時，人們對共享存儲多處理機系統的內存訪問瓶頸問題有了較清楚的認識，紛紛尋求解決辦法以保證它們的可擴展性。此期間還誕生了可擴展的分布存儲MIMD MPPn CUBE，這臺機器含1024個節點，CPU和存儲單元均分布包含在節點內，所有節點通過超立方體網絡相互連接，支持消息傳遞并行編程環境，并真正投入實際使用。由于該機在流體力學領域中的幾個實際應用獲得了超過1000的加速比，引起了計算機界的轟動，改變了人們對 Amdahl定律的認識，排除了當時籠罩并行計算技術的陰影。 在當時的分布式存儲體系結構中，處理機間的消息傳遞與消息長度、處理機間的距離有較大的關系。因此互聯網絡*優拓撲連接和數據包路由選擇算法的研究引起了人們的注意，目的在于減少處理機遠端訪問的花費。 20世紀80年代后期，真正具有強大計算能力的并行機開始出現。例如，Meiko系統，它由400個T800 Transputer通過二維Mesh(網孔)相互連接構成，適合中等粒度并行。此間出現的主要并行計算機包括：①三臺SIMD并行機：CM2，Maspar和DAP，其中CM2對 Linpack測試獲得了5.2 GFLOPS的性能；②超立方體連接的分布存儲MIMD并行機 nCUBE2與 InteliPSc/860，分別可擴展到8192個節點和128個節點，峰值性能達27 GFLOPS和7 GFLOPS；③由硬件支持共享存儲機制的BBN TO2000，用Buttery多級互聯網連接處理機和存儲模塊，可擴展到500臺處理機，本地cache、內存和遠端內存訪問的延遲時間之比為1∶3∶7；共享存儲向量多處理機系統CRAY Y-MP，能獲得很好的實際運算性能。 進入20世紀90年代，得益于微電子技術的發展，基于RISC指令系統的微處理芯片的性能幾乎以每18個月增長1倍、內存容量幾乎每年增長1倍的速度發展，而網絡通信技術也得到了快速增長，它們都對并行計算機的發展產生了重要影響。 為了滿足美國HPCC(High Performance Computing and Communications，高性能計算與通信)計劃中提出的高性能計算要求，考慮到共享存儲并行機的內存訪問瓶頸問題，人們紛紛把眼光瞄準到分布式存儲MPP(massively parallel processing)系統，使得MPP的硬件和軟件系統得到了長足發展。由于微處理芯片性能和網絡技術的發展，MPP并行機大量采用商用微處理芯片作為單節點，通過高性能互聯網連接而成。由于普遍采用蟲孔路由選擇算法，因此消息傳遞的耗時不再與它所經過的節點個數相關，即處理機間的消息傳遞花費不再與距離相關，或者相關程度可以忽略不計。分布式存儲并行程序設計以消息傳遞為主。 這一時期，MIMD類型占據主導地位，SIMD并行機和向量機逐漸退出舞臺，但以單個向量機為節點構成的MIMD并行機仍然在實際應用中發揮著重要作用。 20世紀90年代中期，微處理器的性能已經非常強大，能夠提供每秒幾億到十幾億次的浮點運算速度。同時，互聯網絡點對點的通信能達到每秒超過500MB的帶寬。高性能微處理器和網絡通信技術為并行計算硬件環境帶來了新的面貌，呈現出以下發展趨勢。 (1)以高性能微處理芯片和互聯網絡通信技術為基礎，共享存儲對稱多處理機(symmetric multiprocessor， SMP)系統得到了迅速發展。它們大多以高性能服務器的面目出現，能提供每秒幾百億次的浮點運算能力、幾十個GB的內存和超過10GB的訪存帶寬，具有豐富的系統軟件和應用軟件，很強的容錯能力、I/O能力、吞吐量、分時共享能力和穩
書友推薦
- >
推拿
- >
伊索寓言-世界文學名著典藏-全譯本
- >
月亮與六便士
- >
【精裝繪本】畫給孩子的中國神話
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
山海經
- >
小考拉的故事-套裝共3冊
- >
唐代進士錄
本類暢銷
