掃一掃
關(guān)注中圖網(wǎng)
官方微博
中圖價(jià):¥212.5
加入購物車
并行編程原理與程序設(shè)計(jì) 版權(quán)信息
- ISBN：9787030694829
- 條形碼：9787030694829 ; 978-7-03-069482-9
- 裝幀：一般膠版紙
- 冊(cè)數(shù)：暫無
- 重量：暫無
- 所屬分類：>>
并行編程原理與程序設(shè)計(jì) 本書特色
適讀人群 ：高年級(jí)本科生、理工科計(jì)算機(jī)及非計(jì)算機(jī)類專業(yè)研究生，廣大的并行程序設(shè)計(jì)方法學(xué)習(xí)者，具有初步的C語言基礎(chǔ)的讀者本書包含了CPU并行編程和GPU并行編程，填補(bǔ)國(guó)內(nèi)空白，具有很好的實(shí)用價(jià)值
并行編程原理與程序設(shè)計(jì) 內(nèi)容簡(jiǎn)介
本書主要介紹目前很常用的幾種并行程序設(shè)計(jì)思路與方法，主要內(nèi)容包括并行計(jì)算基礎(chǔ)、OpenMP并行程序設(shè)計(jì)簡(jiǎn)介、MPI并行程序設(shè)計(jì)、CUDA并行程序設(shè)計(jì)及求解聲波方程的并行程序五個(gè)部分。其中OpenMP對(duì)應(yīng)共享內(nèi)存的CPU并行編程，MPI對(duì)應(yīng)消息傳遞的CPU并行編程，CUDA對(duì)應(yīng)GPU編程。因此，通過對(duì)本書的學(xué)習(xí)，可以掌握目前很常用的幾種并行編程方法。
并行編程原理與程序設(shè)計(jì) 目錄
目錄
前言
**篇 并行計(jì)算基礎(chǔ)
第1章 并行計(jì)算機(jī)硬件基礎(chǔ) 3
1.1 并行計(jì)算 3
1.1.1 并行計(jì)算的概念 3
1.1.2 并行計(jì)算與計(jì)算科學(xué) 3
1.1.3 當(dāng)代科學(xué)與工程問題的計(jì)算需求 4
1.2 并行計(jì)算機(jī)硬件簡(jiǎn)介 4
1.2.1 并行計(jì)算機(jī)的發(fā)展歷史 4
1.2.2 并行計(jì)算機(jī)的分類 8
1.2.3 并行計(jì)算機(jī)的體系結(jié)構(gòu) 9
1.3 當(dāng)代并行計(jì)算機(jī)系統(tǒng)簡(jiǎn)介 14
1.3.1 共享存儲(chǔ)多處理機(jī)系統(tǒng) 15
1.3.2 分布存儲(chǔ)多處理機(jī)系統(tǒng) 15
1.3.3 集群系統(tǒng) 17
1.4 并行計(jì)算機(jī)的一些基本性能指標(biāo) 24
1.4.1 CPU和存儲(chǔ)器的某些性能指標(biāo) 24
1.4.2 通信開銷 25
1.4.3 機(jī)器的成本、價(jià)格與性價(jià)比 26
第2章 并行程序設(shè)計(jì)基礎(chǔ) 28
2.1 并行算法的基礎(chǔ)知識(shí) 28
2.1.1 并行算法領(lǐng)域的一些基本概念 28
2.1.2 并行程序開發(fā)策略與并行算法的描述方法 30
2.1.3 并行算法中的同步與通信 31
2.2 并行程序設(shè)計(jì)模型 32
2.2.1 計(jì)算π的樣本程序 32
2.2.2 數(shù)據(jù)并行模型 33
2.2.3 消息傳遞模型 34
2.2.4 共享變量模型 36
2.3 并行程序設(shè)計(jì)方法 38
2.3.1 PCAM并行程序設(shè)計(jì)思路 38
2.3.2 并行編程語言 41
第二篇 OpenMP并行程序設(shè)計(jì)簡(jiǎn)介
第3章 OpenMP介紹 55
3.1 什么是OpenMP 55
3.2 共享內(nèi)存式并行計(jì)算 55
3.3 OpenMP的發(fā)展歷程 56
3.4 Windows平臺(tái)下OpenMP環(huán)境搭建 56
第4章 OpenMP指令結(jié)構(gòu) 59
4.1 編譯指導(dǎo)語句的一般形式 59
4.2 主要指令 60
4.3 主要子句 61
4.4 常用庫函數(shù) 62
第5章 OpenMP常用指令的用法 63
5.1 數(shù)據(jù)管理 63
5.1.1 Private子句 63
5.1.2 Firstprivate/Lastprivate子句 64
5.1.3 Shared子句 65
5.1.4 Default子句 66
5.1.5 Threadprivate子句 67
5.1.6 Copyin、copyprivate子句 68
5.1.7 Reduction子句 69
5.2 并行控制 70
5.2.1 Parallel指令 70
5.2.2 For指令 75
5.2.3 Schedule子句 76
5.2.4 Sections指令 80
5.2.5 Single指令 82
5.3 同步管理 82
5.3.1 Critical指令 83
5.3.2 Atomic指令 84
5.3.3 Barrier指令 85
5.3.4 Ordered指令 86
5.3.5 Master指令 86
5.3.6 Flush指令 87
5.4 常用庫函數(shù) 87
5.4.1 運(yùn)行時(shí)庫函數(shù) 87
5.4.2 鎖管理 88
5.4.3 環(huán)境變量 90
第6章 OpenMP實(shí)例 91
6.1 循環(huán)實(shí)例 91
6.2 并行程序的優(yōu)化 93
6.2.1 臨界區(qū)實(shí)現(xiàn) 93
6.2.2 原子操作實(shí)現(xiàn) 95
6.2.3 歸約實(shí)現(xiàn) 95
6.3 快速排序并行算法 96
第三篇 MPI并行程序設(shè)計(jì)
第7章 MPI編程基礎(chǔ) 103
7.1 MPI簡(jiǎn)介 103
7.1.1 MPI的含義 103
7.1.2 MPI的目標(biāo) 103
7.1.3 MPI的產(chǎn)生 103
7.1.4 MPI的語言綁定 104
7.1.5 目前MPI的主要實(shí)現(xiàn) 104
7.2 一個(gè)簡(jiǎn)單的MPI程序 105
7.2.1 MPI實(shí)現(xiàn)的“Hello World!” 105
7.2.2 MPI程序的框架結(jié)構(gòu) 109
7.2.3 MPI程序的一些慣例 109
7.3 6個(gè)基本函數(shù)組成的MPI子集 109
7.3.1 子集介紹 109
7.3.2 MPI預(yù)定義的數(shù)據(jù)類型 114
7.3.3 MPI數(shù)據(jù)類型匹配 115
7.3.4 MPI消息 117
7.4 簡(jiǎn)單的MPI程序示例 118
7.4.1 求二維數(shù)據(jù)中各元素絕對(duì)值的*大值 119
7.4.2 用MPI實(shí)現(xiàn)計(jì)時(shí)功能 121
7.4.3 獲取機(jī)器名字與MPI版本號(hào) 123
7.4.4 是否初始化及錯(cuò)誤退出 124
7.4.5 環(huán)形消息傳遞 125
7.4.6 所有進(jìn)程相互問候 126
7.4.7 任意源和任意標(biāo)識(shí)的使用 128
7.4.8 編寫安全的MPI程序 129
第8章 MPI的安裝與并行編程環(huán)境的設(shè)置 132
8.1 Linux環(huán)境下的MPICH2安裝與設(shè)置 132
8.2 Windows環(huán)境下MPICH2的安裝與設(shè)置 133
8.2.1 安裝 133
8.2.2 編譯運(yùn)行C+MPI程序 134
8.2.3 編譯運(yùn)行Fortran+MPI程序 138
第9章 對(duì)等模式與主從模式的MPI程序設(shè)計(jì) 141
9.1 對(duì)等模式MPI程序設(shè)計(jì) 141
9.1.1 問題描述——雅可比迭代 141
9.1.2 用MPI程序?qū)崿F(xiàn)雅可比迭代 142
9.1.3 采用捆綁發(fā)送接收實(shí)現(xiàn)雅可比迭代 146
9.1.4 引入虛擬進(jìn)程后雅可比迭代的實(shí)現(xiàn) 151
9.2 主從模式MPI程序設(shè)計(jì) 155
9.2.1 矩陣向量乘 155
9.2.2 主進(jìn)程打印各從進(jìn)程的消息 159
第10章 MPI的四種通信模式 162
10.1 標(biāo)準(zhǔn)通信模式 162
10.2 緩存通信模式 163
10.3 同步通信模式 165
10.4 就緒通信模式 167
第11章 MPI的非阻塞通信 170
11.1 非阻塞通信簡(jiǎn)介 170
11.1.1 阻塞通信 170
11.1.2 非阻塞通信 171
11.2 非阻塞標(biāo)準(zhǔn)發(fā)送與接收 173
11.3 非阻塞通信與其他三種通信模式的結(jié)合 174
11.4 非阻塞通信的完成與檢測(cè) 175
11.4.1 單個(gè)非阻塞通信的完成與檢測(cè) 175
11.4.2 多個(gè)非阻塞通信的完成與檢測(cè) 176
11.5 非阻塞通信對(duì)象 178
11.5.1 非阻塞通信的取消 179
11.5.2 非阻塞通信對(duì)象的釋放 180
11.5.3 消息到達(dá)的檢查 181
11.5.4 用非阻塞通信來實(shí)現(xiàn)雅可比迭代 182
11.6 重復(fù)非阻塞通信 185
第12章 MPI的組通信調(diào)用 190
12.1 組通信概述 190
12.2 組通信的通信功能 191
12.2.1 廣播 191
12.2.2 收集 192
12.2.3 散發(fā) 196
12.2.4 組收集 199
12.2.5 全互換 201
12.3 組通信的同步功能 204
12.4 組通信的計(jì)算功能 205
12.4.1 歸約 205
12.4.2 MPI的內(nèi)置歸約算符 206
12.4.3 程序舉例 207
12.4.4 組歸約 209
12.4.5 歸約并散發(fā) 211
12.4.6 掃描 212
12.4.7 不同類型歸約操作的對(duì)比 213
12.4.8 MINLOC和MAXLOC 215
12.4.9 用戶自定義的歸約操作 216
第13章 MPI的派生數(shù)據(jù)類型 220
13.1 類型圖 220
13.2 新數(shù)據(jù)類型的定義 221
13.2.1 MPI提供的數(shù)據(jù)類型生成器 221
13.2.2 新類型遞交和釋放 226
13.2.3 地址函數(shù) 227
13.2.4 與數(shù)據(jù)類型有關(guān)的調(diào)用 228
13.2.5 下界類型和上界類型 231
13.3 例題 232
13.4 打包與解包 236
第14章 MPI的進(jìn)程組和通信域 239
14.1 簡(jiǎn)介 239
14.2 進(jìn)程組和通信域的管理 239
14.2.1 MPI的進(jìn)程組管理接口 240
14.2.2 通信域的管理 245
14.3 組間通信域 250
第15章 MPI擴(kuò)展 255
15.1 MPI的動(dòng)態(tài)進(jìn)程管理 255
15.1.1 組間通信域 255
15.1.2 動(dòng)態(tài)進(jìn)程的創(chuàng)建 257
15.1.3 獨(dú)立進(jìn)程間的通信 260
15.1.4 基于socket的通信 263
15.2 MPI的遠(yuǎn)程存儲(chǔ)訪問 263
15.2.1 窗口創(chuàng)建與窗口操作 264
15.2.2 窗口同步管理 267
15.3 并行I/O 275
15.3.1 并行文件管理的基本操作 276
15.3.2 顯式指定偏移量的并行文件讀寫 279
15.3.3 多視口的并行文件并行讀寫 283
15.3.4 共享文件指針讀寫 291
第16章 MPI函數(shù)調(diào)用原型與簡(jiǎn)單解釋 297
16.1 MPI-1與C語言的接口 297
16.2 MPI-1與Fortran語言的接口 305
16.3 MPI-2與C語言的接口 314
16.4 MPI-2與Fortran語言的接口 324
第四篇 CUDA并行程序設(shè)計(jì)
第17章 GPU簡(jiǎn)介 339
17.1 NVIDIA GPU發(fā)展簡(jiǎn)介 339
17.2 GPU硬件架構(gòu) 340
17.2.1 圖形顯卡概覽 340
17.2.2 PCI-E總線 341
17.2.3 顯存 342
17.2.4 GPU芯片 343
17.3 基于GPU的程序開發(fā) 344
17.3.1 傳統(tǒng)GPU開發(fā) 344
17.3.2 CUDA開發(fā) 344
第18章 CUDA安裝與編譯 346
18.1 CUDA函數(shù)庫與CUDA C++語言 346
18.1.1 CUDA API和函數(shù)庫 346
18.1.2 CUDA C++語言 347
18.1.3 CUDA C++拓展限定符語法 348
18.2 CUDA的安裝與配置 351
18.2.1 開發(fā)環(huán)境 351
18.2.2 安裝平臺(tái) 354
18.2.3 CUDA安裝與配置 355
18.3 CUDA編譯與驅(qū)動(dòng) 357
18.3.1 Emu調(diào)試 357
18.3.2 編譯相關(guān) 358
18.3.3 錯(cuò)誤處理 359
18.3.4 計(jì)算模式 359
第19章 CUDA編程基礎(chǔ) 360
19.1 主機(jī)與設(shè)備 360
19.2 核函數(shù)的定義與調(diào)用 362
19.3 設(shè)備中的空間管理與數(shù)據(jù)傳輸 363
19.4 線程結(jié)構(gòu) 365
19.5 硬件映射 370
19.5.1 計(jì)算單元 370
19.5.2 Warp 372
19.5.3 執(zhí)行模型 372
19.6 存儲(chǔ)器類型 373
19.6.1 寄存器 374
19.6.2 局部存儲(chǔ)器 375
19.6.3 共享存儲(chǔ)器 3
前言
**篇 并行計(jì)算基礎(chǔ)
第1章 并行計(jì)算機(jī)硬件基礎(chǔ) 3
1.1 并行計(jì)算 3
1.1.1 并行計(jì)算的概念 3
1.1.2 并行計(jì)算與計(jì)算科學(xué) 3
1.1.3 當(dāng)代科學(xué)與工程問題的計(jì)算需求 4
1.2 并行計(jì)算機(jī)硬件簡(jiǎn)介 4
1.2.1 并行計(jì)算機(jī)的發(fā)展歷史 4
1.2.2 并行計(jì)算機(jī)的分類 8
1.2.3 并行計(jì)算機(jī)的體系結(jié)構(gòu) 9
1.3 當(dāng)代并行計(jì)算機(jī)系統(tǒng)簡(jiǎn)介 14
1.3.1 共享存儲(chǔ)多處理機(jī)系統(tǒng) 15
1.3.2 分布存儲(chǔ)多處理機(jī)系統(tǒng) 15
1.3.3 集群系統(tǒng) 17
1.4 并行計(jì)算機(jī)的一些基本性能指標(biāo) 24
1.4.1 CPU和存儲(chǔ)器的某些性能指標(biāo) 24
1.4.2 通信開銷 25
1.4.3 機(jī)器的成本、價(jià)格與性價(jià)比 26
第2章 并行程序設(shè)計(jì)基礎(chǔ) 28
2.1 并行算法的基礎(chǔ)知識(shí) 28
2.1.1 并行算法領(lǐng)域的一些基本概念 28
2.1.2 并行程序開發(fā)策略與并行算法的描述方法 30
2.1.3 并行算法中的同步與通信 31
2.2 并行程序設(shè)計(jì)模型 32
2.2.1 計(jì)算π的樣本程序 32
2.2.2 數(shù)據(jù)并行模型 33
2.2.3 消息傳遞模型 34
2.2.4 共享變量模型 36
2.3 并行程序設(shè)計(jì)方法 38
2.3.1 PCAM并行程序設(shè)計(jì)思路 38
2.3.2 并行編程語言 41
第二篇 OpenMP并行程序設(shè)計(jì)簡(jiǎn)介
第3章 OpenMP介紹 55
3.1 什么是OpenMP 55
3.2 共享內(nèi)存式并行計(jì)算 55
3.3 OpenMP的發(fā)展歷程 56
3.4 Windows平臺(tái)下OpenMP環(huán)境搭建 56
第4章 OpenMP指令結(jié)構(gòu) 59
4.1 編譯指導(dǎo)語句的一般形式 59
4.2 主要指令 60
4.3 主要子句 61
4.4 常用庫函數(shù) 62
第5章 OpenMP常用指令的用法 63
5.1 數(shù)據(jù)管理 63
5.1.1 Private子句 63
5.1.2 Firstprivate/Lastprivate子句 64
5.1.3 Shared子句 65
5.1.4 Default子句 66
5.1.5 Threadprivate子句 67
5.1.6 Copyin、copyprivate子句 68
5.1.7 Reduction子句 69
5.2 并行控制 70
5.2.1 Parallel指令 70
5.2.2 For指令 75
5.2.3 Schedule子句 76
5.2.4 Sections指令 80
5.2.5 Single指令 82
5.3 同步管理 82
5.3.1 Critical指令 83
5.3.2 Atomic指令 84
5.3.3 Barrier指令 85
5.3.4 Ordered指令 86
5.3.5 Master指令 86
5.3.6 Flush指令 87
5.4 常用庫函數(shù) 87
5.4.1 運(yùn)行時(shí)庫函數(shù) 87
5.4.2 鎖管理 88
5.4.3 環(huán)境變量 90
第6章 OpenMP實(shí)例 91
6.1 循環(huán)實(shí)例 91
6.2 并行程序的優(yōu)化 93
6.2.1 臨界區(qū)實(shí)現(xiàn) 93
6.2.2 原子操作實(shí)現(xiàn) 95
6.2.3 歸約實(shí)現(xiàn) 95
6.3 快速排序并行算法 96
第三篇 MPI并行程序設(shè)計(jì)
第7章 MPI編程基礎(chǔ) 103
7.1 MPI簡(jiǎn)介 103
7.1.1 MPI的含義 103
7.1.2 MPI的目標(biāo) 103
7.1.3 MPI的產(chǎn)生 103
7.1.4 MPI的語言綁定 104
7.1.5 目前MPI的主要實(shí)現(xiàn) 104
7.2 一個(gè)簡(jiǎn)單的MPI程序 105
7.2.1 MPI實(shí)現(xiàn)的“Hello World!” 105
7.2.2 MPI程序的框架結(jié)構(gòu) 109
7.2.3 MPI程序的一些慣例 109
7.3 6個(gè)基本函數(shù)組成的MPI子集 109
7.3.1 子集介紹 109
7.3.2 MPI預(yù)定義的數(shù)據(jù)類型 114
7.3.3 MPI數(shù)據(jù)類型匹配 115
7.3.4 MPI消息 117
7.4 簡(jiǎn)單的MPI程序示例 118
7.4.1 求二維數(shù)據(jù)中各元素絕對(duì)值的*大值 119
7.4.2 用MPI實(shí)現(xiàn)計(jì)時(shí)功能 121
7.4.3 獲取機(jī)器名字與MPI版本號(hào) 123
7.4.4 是否初始化及錯(cuò)誤退出 124
7.4.5 環(huán)形消息傳遞 125
7.4.6 所有進(jìn)程相互問候 126
7.4.7 任意源和任意標(biāo)識(shí)的使用 128
7.4.8 編寫安全的MPI程序 129
第8章 MPI的安裝與并行編程環(huán)境的設(shè)置 132
8.1 Linux環(huán)境下的MPICH2安裝與設(shè)置 132
8.2 Windows環(huán)境下MPICH2的安裝與設(shè)置 133
8.2.1 安裝 133
8.2.2 編譯運(yùn)行C+MPI程序 134
8.2.3 編譯運(yùn)行Fortran+MPI程序 138
第9章 對(duì)等模式與主從模式的MPI程序設(shè)計(jì) 141
9.1 對(duì)等模式MPI程序設(shè)計(jì) 141
9.1.1 問題描述——雅可比迭代 141
9.1.2 用MPI程序?qū)崿F(xiàn)雅可比迭代 142
9.1.3 采用捆綁發(fā)送接收實(shí)現(xiàn)雅可比迭代 146
9.1.4 引入虛擬進(jìn)程后雅可比迭代的實(shí)現(xiàn) 151
9.2 主從模式MPI程序設(shè)計(jì) 155
9.2.1 矩陣向量乘 155
9.2.2 主進(jìn)程打印各從進(jìn)程的消息 159
第10章 MPI的四種通信模式 162
10.1 標(biāo)準(zhǔn)通信模式 162
10.2 緩存通信模式 163
10.3 同步通信模式 165
10.4 就緒通信模式 167
第11章 MPI的非阻塞通信 170
11.1 非阻塞通信簡(jiǎn)介 170
11.1.1 阻塞通信 170
11.1.2 非阻塞通信 171
11.2 非阻塞標(biāo)準(zhǔn)發(fā)送與接收 173
11.3 非阻塞通信與其他三種通信模式的結(jié)合 174
11.4 非阻塞通信的完成與檢測(cè) 175
11.4.1 單個(gè)非阻塞通信的完成與檢測(cè) 175
11.4.2 多個(gè)非阻塞通信的完成與檢測(cè) 176
11.5 非阻塞通信對(duì)象 178
11.5.1 非阻塞通信的取消 179
11.5.2 非阻塞通信對(duì)象的釋放 180
11.5.3 消息到達(dá)的檢查 181
11.5.4 用非阻塞通信來實(shí)現(xiàn)雅可比迭代 182
11.6 重復(fù)非阻塞通信 185
第12章 MPI的組通信調(diào)用 190
12.1 組通信概述 190
12.2 組通信的通信功能 191
12.2.1 廣播 191
12.2.2 收集 192
12.2.3 散發(fā) 196
12.2.4 組收集 199
12.2.5 全互換 201
12.3 組通信的同步功能 204
12.4 組通信的計(jì)算功能 205
12.4.1 歸約 205
12.4.2 MPI的內(nèi)置歸約算符 206
12.4.3 程序舉例 207
12.4.4 組歸約 209
12.4.5 歸約并散發(fā) 211
12.4.6 掃描 212
12.4.7 不同類型歸約操作的對(duì)比 213
12.4.8 MINLOC和MAXLOC 215
12.4.9 用戶自定義的歸約操作 216
第13章 MPI的派生數(shù)據(jù)類型 220
13.1 類型圖 220
13.2 新數(shù)據(jù)類型的定義 221
13.2.1 MPI提供的數(shù)據(jù)類型生成器 221
13.2.2 新類型遞交和釋放 226
13.2.3 地址函數(shù) 227
13.2.4 與數(shù)據(jù)類型有關(guān)的調(diào)用 228
13.2.5 下界類型和上界類型 231
13.3 例題 232
13.4 打包與解包 236
第14章 MPI的進(jìn)程組和通信域 239
14.1 簡(jiǎn)介 239
14.2 進(jìn)程組和通信域的管理 239
14.2.1 MPI的進(jìn)程組管理接口 240
14.2.2 通信域的管理 245
14.3 組間通信域 250
第15章 MPI擴(kuò)展 255
15.1 MPI的動(dòng)態(tài)進(jìn)程管理 255
15.1.1 組間通信域 255
15.1.2 動(dòng)態(tài)進(jìn)程的創(chuàng)建 257
15.1.3 獨(dú)立進(jìn)程間的通信 260
15.1.4 基于socket的通信 263
15.2 MPI的遠(yuǎn)程存儲(chǔ)訪問 263
15.2.1 窗口創(chuàng)建與窗口操作 264
15.2.2 窗口同步管理 267
15.3 并行I/O 275
15.3.1 并行文件管理的基本操作 276
15.3.2 顯式指定偏移量的并行文件讀寫 279
15.3.3 多視口的并行文件并行讀寫 283
15.3.4 共享文件指針讀寫 291
第16章 MPI函數(shù)調(diào)用原型與簡(jiǎn)單解釋 297
16.1 MPI-1與C語言的接口 297
16.2 MPI-1與Fortran語言的接口 305
16.3 MPI-2與C語言的接口 314
16.4 MPI-2與Fortran語言的接口 324
第四篇 CUDA并行程序設(shè)計(jì)
第17章 GPU簡(jiǎn)介 339
17.1 NVIDIA GPU發(fā)展簡(jiǎn)介 339
17.2 GPU硬件架構(gòu) 340
17.2.1 圖形顯卡概覽 340
17.2.2 PCI-E總線 341
17.2.3 顯存 342
17.2.4 GPU芯片 343
17.3 基于GPU的程序開發(fā) 344
17.3.1 傳統(tǒng)GPU開發(fā) 344
17.3.2 CUDA開發(fā) 344
第18章 CUDA安裝與編譯 346
18.1 CUDA函數(shù)庫與CUDA C++語言 346
18.1.1 CUDA API和函數(shù)庫 346
18.1.2 CUDA C++語言 347
18.1.3 CUDA C++拓展限定符語法 348
18.2 CUDA的安裝與配置 351
18.2.1 開發(fā)環(huán)境 351
18.2.2 安裝平臺(tái) 354
18.2.3 CUDA安裝與配置 355
18.3 CUDA編譯與驅(qū)動(dòng) 357
18.3.1 Emu調(diào)試 357
18.3.2 編譯相關(guān) 358
18.3.3 錯(cuò)誤處理 359
18.3.4 計(jì)算模式 359
第19章 CUDA編程基礎(chǔ) 360
19.1 主機(jī)與設(shè)備 360
19.2 核函數(shù)的定義與調(diào)用 362
19.3 設(shè)備中的空間管理與數(shù)據(jù)傳輸 363
19.4 線程結(jié)構(gòu) 365
19.5 硬件映射 370
19.5.1 計(jì)算單元 370
19.5.2 Warp 372
19.5.3 執(zhí)行模型 372
19.6 存儲(chǔ)器類型 373
19.6.1 寄存器 374
19.6.2 局部存儲(chǔ)器 375
19.6.3 共享存儲(chǔ)器 3
展開全部
并行編程原理與程序設(shè)計(jì) 節(jié)選
**篇 并行計(jì)算基礎(chǔ) 這一篇主要介紹并行計(jì)算的軟硬件基礎(chǔ)，包括并行計(jì)算機(jī)硬件基礎(chǔ)(第1章)和并行程序設(shè)計(jì)基礎(chǔ)(第2章)兩部分，為后續(xù)并行編程方法的學(xué)習(xí)提供必需的儲(chǔ)備知識(shí)。 第1章為硬件基礎(chǔ)部分。首先介紹了并行計(jì)算的概念，分析了并行計(jì)算和計(jì)算科學(xué)之間的關(guān)系及當(dāng)代科學(xué)與工程問題的計(jì)算需求，正是這些需求推動(dòng)了并行算法與并行計(jì)算機(jī)軟硬件的發(fā)展；然后介紹并行計(jì)算機(jī)的發(fā)展歷史、分類、體系結(jié)構(gòu)與存儲(chǔ)結(jié)構(gòu)模型，并對(duì)目前常見的共享存儲(chǔ)多處理機(jī)系統(tǒng)、分布存儲(chǔ)多處理機(jī)系統(tǒng)和集群系統(tǒng)進(jìn)行了簡(jiǎn)要介紹；*后介紹了并行計(jì)算機(jī)的一些基本性能指標(biāo)。 第2章為軟件基礎(chǔ)部分。首先給出了并行算法、進(jìn)程、線程及加速比和效率等并行計(jì)算領(lǐng)域的基本概念，簡(jiǎn)要介紹了并行程序的三種開發(fā)策略和并行算法的描述方法；然后通過一個(gè)計(jì)算?的樣本程序介紹了數(shù)據(jù)并行模型、消息傳遞模型和共享變量模型的主要特點(diǎn)和實(shí)現(xiàn)思路，并對(duì)PCAM并行程序設(shè)計(jì)思路進(jìn)行了較為詳細(xì)的介紹；*后對(duì)HPF、PVM、OpenMP、MPI及CUDA等目前*常用的并行程序設(shè)計(jì)工具進(jìn)行了介紹。 第1章 并行計(jì)算機(jī)硬件基礎(chǔ) 1.1 并行計(jì)算 1.1.1 并行計(jì)算的概念 并行計(jì)算是相對(duì)于串行計(jì)算來說的，是一種可以同時(shí)執(zhí)行多個(gè)指令的計(jì)算方法，也可以同時(shí)使用多種計(jì)算資源解決計(jì)算問題，其目的一般有：①通過利用多個(gè)CPU或GPU等資源提供更高的計(jì)算效率；②通過利用多個(gè)處理器的內(nèi)存或顯存等資源擴(kuò)大問題求解規(guī)模，提供更強(qiáng)的計(jì)算能力。并行計(jì)算可分為時(shí)間上的并行和空間上的并行，時(shí)間上的并行指流水線技術(shù)，空間上的并行指用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算。并行計(jì)算和高性能計(jì)算、超級(jí)計(jì)算是同義詞，因?yàn)槿魏胃咝阅苡?jì)算和超級(jí)計(jì)算總離不開并行技術(shù)。 并行計(jì)算的基本思想是用多個(gè)處理器來協(xié)同求解同一問題，將被求解的問題分解成若干部分，各部分均由一個(gè)獨(dú)立的處理機(jī)來計(jì)算。并行計(jì)算系統(tǒng)既可以是專門設(shè)計(jì)的、含有多個(gè)處理器的超級(jí)計(jì)算機(jī)，也可以是以某種方式互連的若干臺(tái)獨(dú)立計(jì)算機(jī)構(gòu)成的集群。 1.1.2 并行計(jì)算與計(jì)算科學(xué) 隨著計(jì)算機(jī)和計(jì)算方法的飛速發(fā)展，幾乎所有的學(xué)科都走向定量化和精確化，產(chǎn)生了諸如計(jì)算物理、計(jì)算化學(xué)、計(jì)算生物學(xué)、計(jì)算地球物理學(xué)、計(jì)算氣象學(xué)和計(jì)算材料科學(xué)等的計(jì)算科學(xué)，逐漸形成了一門計(jì)算性的學(xué)科分支—計(jì)算科學(xué)與工程。目前，計(jì)算科學(xué)已經(jīng)和理論科學(xué)、實(shí)驗(yàn)科學(xué)并列成為第三門科學(xué)，它們彼此相輔相成地推動(dòng)科學(xué)發(fā)展與社會(huì)進(jìn)步。許多情況下，由于理論模型復(fù)雜甚至理論尚未建立，或者實(shí)驗(yàn)費(fèi)用昂貴甚至實(shí)驗(yàn)無法進(jìn)行，此時(shí)計(jì)算就成為求解問題的唯一或主要手段。計(jì)算科學(xué)極大地增強(qiáng)了人們從事科學(xué)研究的能力，加速科技向生產(chǎn)力的轉(zhuǎn)化過程，深刻地改變著人類認(rèn)識(shí)世界和改造世界的方法和途徑。計(jì)算科學(xué)的理論和方法作為新的研究手段和新的設(shè)計(jì)與制造技術(shù)的理論基礎(chǔ)，正推動(dòng)著當(dāng)代科技向縱深發(fā)展。 計(jì)算科學(xué)涉及的大型科學(xué)工程計(jì)算問題往往需要數(shù)學(xué)家、工程師和計(jì)算機(jī)科學(xué)家進(jìn)行跨學(xué)科和跨行業(yè)協(xié)同研究，一方面，它需要運(yùn)用許多基礎(chǔ)數(shù)學(xué)理論，另一方面又需要熟悉某一特定應(yīng)用領(lǐng)域的背景知識(shí)，并且還需要充分掌握和運(yùn)用先進(jìn)的計(jì)算設(shè)備。所以今后的科學(xué)與工程計(jì)算工作者應(yīng)盡可能兼?zhèn)鋽?shù)學(xué)、物理、工程科學(xué)和計(jì)算機(jī)科學(xué)等多方面的知識(shí)，并善于應(yīng)用超級(jí)計(jì)算機(jī)進(jìn)行大規(guī)模數(shù)值試驗(yàn)與分析。 1.1.3 當(dāng)代科學(xué)與工程問題的計(jì)算需求 人類對(duì)計(jì)算機(jī)性能的要求是無止境的，在諸如物理現(xiàn)象模擬、工程設(shè)計(jì)和自動(dòng)化、能源勘探、醫(yī)學(xué)、軍事及基礎(chǔ)理論研究等領(lǐng)域中都對(duì)計(jì)算提出了極高要求。例如，在氣象預(yù)報(bào)時(shí)，要提高全球氣象預(yù)報(bào)的準(zhǔn)確性，在經(jīng)度、緯度和大氣層方向上至少要取200 × 100 × 20 = 40萬個(gè)網(wǎng)格點(diǎn)。中期天氣預(yù)報(bào)有的模式需要635萬個(gè)點(diǎn)，內(nèi)存需要幾十千兆字節(jié)，總運(yùn)算量達(dá)25萬億次，并要求在不到2小時(shí)內(nèi)完成48小時(shí)的天氣預(yù)報(bào)。當(dāng)計(jì)算能力不足時(shí)，只好降低結(jié)果的分辨率，簡(jiǎn)化計(jì)算方案，從而影響了預(yù)報(bào)的準(zhǔn)確度。又如，在進(jìn)行油田“油藏模擬”時(shí)，假定一個(gè)油田有上萬口井，每口井模擬時(shí)至少要取8 × 8 × 50個(gè)點(diǎn)，則總的變量個(gè)數(shù)可高達(dá)千萬量級(jí)，現(xiàn)有的串行計(jì)算機(jī)很難高效地完成這類問題中的計(jì)算工作。此外，在三維地震勘探數(shù)值模擬或偏移成像時(shí)，往往需要取2000 × 2000 × 2000個(gè)網(wǎng)格點(diǎn)的變量進(jìn)行運(yùn)算，其計(jì)算量更大，串行計(jì)算機(jī)根本無法勝任，必須借助規(guī)模龐大的集群來完成計(jì)算工作。其他應(yīng)用領(lǐng)域包括數(shù)字核試驗(yàn)、航空航天飛行器的設(shè)計(jì)、原子物理過程微觀世界的模擬、材料科學(xué)計(jì)算、環(huán)境資源以及生物計(jì)算等。這些重大的計(jì)算問題，往往涉及不規(guī)則復(fù)雜結(jié)構(gòu)、不均勻復(fù)合材料、非線性的動(dòng)力學(xué)系統(tǒng)等復(fù)雜數(shù)學(xué)物理問題。要對(duì)這些復(fù)雜的非線性數(shù)學(xué)物理方程進(jìn)行大規(guī)模和高精度的計(jì)算，在一般的計(jì)算機(jī)上用傳統(tǒng)的計(jì)算方法往往無能為力。 目前科學(xué)界和工業(yè)界對(duì)高速并行計(jì)算的需求是廣泛的，歸納起來主要有三種類型的應(yīng)用需求：①計(jì)算密集應(yīng)用，如大型科學(xué)工程計(jì)算與數(shù)值模擬等；②數(shù)據(jù)密集型應(yīng)用，如數(shù)字圖書館、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘和計(jì)算可視化等；③網(wǎng)絡(luò)密集型應(yīng)用，如協(xié)同工作、遙控和遠(yuǎn)程醫(yī)療診斷等。 這些重大的應(yīng)用需求推動(dòng)了當(dāng)代計(jì)算技術(shù)的迅速發(fā)展。我們也可以從評(píng)測(cè)計(jì)算機(jī)性能的單位量詞證實(shí)業(yè)界對(duì)計(jì)算能力需求的不斷提高：20世紀(jì)70年代到80年代，常用Mflops(每秒百萬次浮點(diǎn)運(yùn)算)作為評(píng)測(cè)計(jì)算機(jī)性能的指標(biāo)；20世紀(jì)80年代中期又增用 Gflops(每秒10億次浮點(diǎn)運(yùn)算)作為評(píng)測(cè)計(jì)算機(jī)性能的指標(biāo)；近年來由于大規(guī)模并行機(jī)的問世，Gflops亦嫌太小，又出現(xiàn)了采用Tflops(每秒萬億次浮點(diǎn)運(yùn)算)作為評(píng)測(cè)計(jì)算機(jī)性能的指標(biāo)；現(xiàn)在Pflops(每秒千萬億次浮點(diǎn)運(yùn)算)的計(jì)算機(jī)的預(yù)研工作正在進(jìn)行。這種計(jì)算機(jī)速度單位量詞的演變，從M(Mega=106)到G(Giga=109)到T(Tera=1012)一直到P(Peta=1015)，反映了計(jì)算機(jī)本身速度的驚人的改變，而其背后的驅(qū)動(dòng)力就是那些挑戰(zhàn)性的應(yīng)用需求。 1.2 并行計(jì)算機(jī)硬件簡(jiǎn)介 1.2.1 并行計(jì)算機(jī)的發(fā)展歷史 并行計(jì)算機(jī)從20世紀(jì)70年代開始快速發(fā)展，到20世紀(jì)80年代出現(xiàn)了蓬勃發(fā)展和百家爭(zhēng)鳴的局面，20世紀(jì)90年代體系結(jié)構(gòu)框架趨于統(tǒng)一，21世紀(jì)初期，集群技術(shù)成為一個(gè)新的快速發(fā)展熱點(diǎn)。目前，并行計(jì)算機(jī)技術(shù)日趨成熟，下面以時(shí)間為線索簡(jiǎn)要介紹并行計(jì)算機(jī)的發(fā)展歷史。 20世紀(jì)70年代誕生了世界上**臺(tái)并行計(jì)算機(jī)ILLIAC IV(伊利阿克IV計(jì)算機(jī))，它包含32個(gè)處理單元，具有可擴(kuò)展性，其計(jì)算速度相當(dāng)于當(dāng)時(shí)性能*高的CDC 7600計(jì)算機(jī)速度的2～6倍，但在編程模式上與傳統(tǒng)的大型機(jī)相差很大。之后誕生的并行機(jī)還有ICLDAP、Good-year MPP，以及向量機(jī)CRAY-1、STAR-100等，它們都屬于SIMD(single instruction multiple data，單指令多數(shù)據(jù))類型，其中CRAY-1獲得了很好的向量計(jì)算效果。這些并行機(jī)的出現(xiàn)引起了人們的極大興趣，吸引了大量的專家學(xué)者從事并行計(jì)算機(jī)的研制和并行程序的設(shè)計(jì)，為20世紀(jì)80年代并行機(jī)的發(fā)展奠定了基礎(chǔ)。 20世紀(jì)80年代早期，以MIMD(multiple instruction multiple data，多指令多數(shù)據(jù))并行機(jī)的研制為主，首先誕生的是Dendlcor HEP，含16臺(tái)處理機(jī)，共享存儲(chǔ)，能同時(shí)支持細(xì)粒度和粗粒度并行，并且被應(yīng)用到實(shí)際計(jì)算中，使許多人學(xué)會(huì)了并行計(jì)算。之后誕生了共享存儲(chǔ)向量多處理機(jī)CRAY X-MP/22(2個(gè)向量機(jī)節(jié)點(diǎn))、IBM3090(6個(gè)向量機(jī)節(jié)點(diǎn))，取得了很好的并行計(jì)算性能。同時(shí)，以超立方體結(jié)構(gòu)連接的分布式存儲(chǔ)MIMD結(jié)構(gòu)原型機(jī)開始出現(xiàn)。 20世紀(jì)80年代中期，共享存儲(chǔ)多處理機(jī)系統(tǒng)得到了穩(wěn)定發(fā)展。兩個(gè)成功的機(jī)器為Sequent(20個(gè)節(jié)點(diǎn))、Encore(16～32個(gè)節(jié)點(diǎn))，它們提供穩(wěn)定的UNIX操作系統(tǒng)，實(shí)現(xiàn)用戶間的分時(shí)共享，對(duì)當(dāng)時(shí)VAX系列串行機(jī)構(gòu)成了嚴(yán)重威脅。同時(shí)，還誕生了8個(gè)節(jié)點(diǎn)的向量多處理機(jī)Alliant，Alliant提供了非常好的自動(dòng)向量并行編譯技術(shù)；誕生了4個(gè)節(jié)點(diǎn)的向量處理機(jī)CRAY-2。這些向量多處理機(jī)系統(tǒng)在實(shí)際應(yīng)用中均取得了巨大的成功。與此同時(shí)，人們對(duì)共享存儲(chǔ)多處理機(jī)系統(tǒng)的內(nèi)存訪問瓶頸問題有了較清楚的認(rèn)識(shí)，紛紛尋求解決辦法以保證它們的可擴(kuò)展性。此期間還誕生了可擴(kuò)展的分布存儲(chǔ)MIMD MPPn CUBE，這臺(tái)機(jī)器含1024個(gè)節(jié)點(diǎn)，CPU和存儲(chǔ)單元均分布包含在節(jié)點(diǎn)內(nèi)，所有節(jié)點(diǎn)通過超立方體網(wǎng)絡(luò)相互連接，支持消息傳遞并行編程環(huán)境，并真正投入實(shí)際使用。由于該機(jī)在流體力學(xué)領(lǐng)域中的幾個(gè)實(shí)際應(yīng)用獲得了超過1000的加速比，引起了計(jì)算機(jī)界的轟動(dòng)，改變了人們對(duì) Amdahl定律的認(rèn)識(shí)，排除了當(dāng)時(shí)籠罩并行計(jì)算技術(shù)的陰影。 在當(dāng)時(shí)的分布式存儲(chǔ)體系結(jié)構(gòu)中，處理機(jī)間的消息傳遞與消息長(zhǎng)度、處理機(jī)間的距離有較大的關(guān)系。因此互聯(lián)網(wǎng)絡(luò)*優(yōu)拓?fù)溥B接和數(shù)據(jù)包路由選擇算法的研究引起了人們的注意，目的在于減少處理機(jī)遠(yuǎn)端訪問的花費(fèi)。 20世紀(jì)80年代后期，真正具有強(qiáng)大計(jì)算能力的并行機(jī)開始出現(xiàn)。例如，Meiko系統(tǒng)，它由400個(gè)T800 Transputer通過二維Mesh(網(wǎng)孔)相互連接構(gòu)成，適合中等粒度并行。此間出現(xiàn)的主要并行計(jì)算機(jī)包括：①三臺(tái)SIMD并行機(jī)：CM2，Maspar和DAP，其中CM2對(duì) Linpack測(cè)試獲得了5.2 GFLOPS的性能；②超立方體連接的分布存儲(chǔ)MIMD并行機(jī) nCUBE2與 InteliPSc/860，分別可擴(kuò)展到8192個(gè)節(jié)點(diǎn)和128個(gè)節(jié)點(diǎn)，峰值性能達(dá)27 GFLOPS和7 GFLOPS；③由硬件支持共享存儲(chǔ)機(jī)制的BBN TO2000，用Buttery多級(jí)互聯(lián)網(wǎng)連接處理機(jī)和存儲(chǔ)模塊，可擴(kuò)展到500臺(tái)處理機(jī)，本地cache、內(nèi)存和遠(yuǎn)端內(nèi)存訪問的延遲時(shí)間之比為1∶3∶7；共享存儲(chǔ)向量多處理機(jī)系統(tǒng)CRAY Y-MP，能獲得很好的實(shí)際運(yùn)算性能。 進(jìn)入20世紀(jì)90年代，得益于微電子技術(shù)的發(fā)展，基于RISC指令系統(tǒng)的微處理芯片的性能幾乎以每18個(gè)月增長(zhǎng)1倍、內(nèi)存容量幾乎每年增長(zhǎng)1倍的速度發(fā)展，而網(wǎng)絡(luò)通信技術(shù)也得到了快速增長(zhǎng)，它們都對(duì)并行計(jì)算機(jī)的發(fā)展產(chǎn)生了重要影響。 為了滿足美國(guó)HPCC(High Performance Computing and Communications，高性能計(jì)算與通信)計(jì)劃中提出的高性能計(jì)算要求，考慮到共享存儲(chǔ)并行機(jī)的內(nèi)存訪問瓶頸問題，人們紛紛把眼光瞄準(zhǔn)到分布式存儲(chǔ)MPP(massively parallel processing)系統(tǒng)，使得MPP的硬件和軟件系統(tǒng)得到了長(zhǎng)足發(fā)展。由于微處理芯片性能和網(wǎng)絡(luò)技術(shù)的發(fā)展，MPP并行機(jī)大量采用商用微處理芯片作為單節(jié)點(diǎn)，通過高性能互聯(lián)網(wǎng)連接而成。由于普遍采用蟲孔路由選擇算法，因此消息傳遞的耗時(shí)不再與它所經(jīng)過的節(jié)點(diǎn)個(gè)數(shù)相關(guān)，即處理機(jī)間的消息傳遞花費(fèi)不再與距離相關(guān)，或者相關(guān)程度可以忽略不計(jì)。分布式存儲(chǔ)并行程序設(shè)計(jì)以消息傳遞為主。 這一時(shí)期，MIMD類型占據(jù)主導(dǎo)地位，SIMD并行機(jī)和向量機(jī)逐漸退出舞臺(tái)，但以單個(gè)向量機(jī)為節(jié)點(diǎn)構(gòu)成的MIMD并行機(jī)仍然在實(shí)際應(yīng)用中發(fā)揮著重要作用。 20世紀(jì)90年代中期，微處理器的性能已經(jīng)非常強(qiáng)大，能夠提供每秒幾億到十幾億次的浮點(diǎn)運(yùn)算速度。同時(shí)，互聯(lián)網(wǎng)絡(luò)點(diǎn)對(duì)點(diǎn)的通信能達(dá)到每秒超過500MB的帶寬。高性能微處理器和網(wǎng)絡(luò)通信技術(shù)為并行計(jì)算硬件環(huán)境帶來了新的面貌，呈現(xiàn)出以下發(fā)展趨勢(shì)。 (1)以高性能微處理芯片和互聯(lián)網(wǎng)絡(luò)通信技術(shù)為基礎(chǔ)，共享存儲(chǔ)對(duì)稱多處理機(jī)(symmetric multiprocessor， SMP)系統(tǒng)得到了迅速發(fā)展。它們大多以高性能服務(wù)器的面目出現(xiàn)，能提供每秒幾百億次的浮點(diǎn)運(yùn)算能力、幾十個(gè)GB的內(nèi)存和超過10GB的訪存帶寬，具有豐富的系統(tǒng)軟件和應(yīng)用軟件，很強(qiáng)的容錯(cuò)能力、I/O能力、吞吐量、分時(shí)共享能力和穩(wěn)
書友推薦
- >
我與地壇
- >
朝聞道
- >
有舍有得是人生
- >
史學(xué)評(píng)論
- >
【精裝繪本】畫給孩子的中國(guó)神話
- >
煙與鏡
- >
隨園食單
- >
月亮虎
本類暢銷
