-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
服務與資源調度 版權信息
- ISBN:9787030691453
- 條形碼:9787030691453 ; 978-7-03-069145-3
- 裝幀:一般膠版紙
- 冊數:暫無
- 重量:暫無
- 所屬分類:>
服務與資源調度 本書特色
適讀人群 :從事調度研究的學者、初入調度領域的研究生以及云計算、大數據相關行業的從業者本書全面系統深度分析服務與資源調度,緊扣大數據、云計算、人工智能等研究熱點,提出了新型智能復雜調度框架。
服務與資源調度 內容簡介
本書以服務與資源調度為主線,從任務、資源、約束條件和目標函數等不同角度分析了調度問題的本質。本書包括作者及其研究團隊近年來在機器調度、云計算資源調度、服務調度、大數據計算任務調度等方面的重要研究成果。全書共8章,首先分析調度概念、要素與架構,然后從事前、事中、事后三個角度分別考慮單資源和多資源場景下的任務調度,MapReduce大數據計算模型下的任務調度,云服務系統調度性能分析,線性、非線性約束云服務調度以及云服務系統容錯調度。 本書提出“算法+知識+數據+算力”的新型調度框架,可以作為服務與資源調度領域的參考指南,適合從事調度研究的學者、初入調度領域的研究生以及云計算、大數據相關行業的從業者閱讀。
服務與資源調度 目錄
前言
第1章 調度概念、要素與架構 1
1.1 引言 1
1.2 什么是調度 5
1.3 任務 7
1.3.1 獨立任務 8
1.3.2 線性約束任務 12
1.3.3 非線性約束任務 15
1.4 資源 17
1.4.1 物理資源 19
1.4.2 資金資源 19
1.4.3 人力資源 20
1.4.4 信息資源 20
1.5 約束 20
1.5.1 任務約束 21
1.5.2 任務-任務約束 22
1.5.3 任務-資源約束 22
1.5.4 資源約束 24
1.6 優化目標 24
1.6.1 單目標 24
1.6.2 多目標 26
1.6.3 超多目標 27
1.7 問題難度和未來調度框架 27
1.7.1 問題難度 27
1.7.2 未來調度框架 28
1.8 本章小結 29
第2章 單資源獨立任務調度 30
2.1 學習效應和遺忘效應 31
2.2 基于先驗知識學習效應的單機調度 34
2.2.1 基于先驗知識的通用學習效應模型 34
2.2.2 基于先驗知識學習效應模型的單機調度 34
2.3 通用效應函數下的單機任務調度 42
2.4 帶退化效應單機成組任務調度 50
2.4.1 問題描述 51
2.4.2 單機成組任務調度退化效應模型 52
2.4.3 啟發式求解算法 54
2.4.4 迭代貪心算法 64
2.4.5 實驗分析與對比 67
2.5 本章小結 68
第3章 多資源線性約束任務調度 69
3.1 總完工時間*小化的無等待流水作業調度 69
3.1.1 無等待流水作業調度 69
3.1.2 *大左移長度 70
3.1.3 機器 m 上的完工時間及性質 72
3.1.4 基于作業尾臺機器距離的調度算法 76
3.1.5 通用完工時間距離及性質 82
3.1.6 基于總完工時間距離的調度算法 88
3.1.7 通用開工時間距離及性質 94
3.2 *大完工時間無等待流水作業調度 99
3.2.1 基本性質 102
3.2.2 漸近啟發式算法 106
3.3 混合等待流水車間調度 110
3.3.1 問題描述和數學模型 111
3.3.2 加速方法 112
3.3.3 MWFSP 的迭代貪心算法 118
3.4 具有先驗知識學習和遺忘效應的兩機流水作業調度 125
3.4.1 具有先驗知識學習效應和遺忘效應模型 125
3.4.2 帶學習和遺忘效應的兩機流水作業調度優化目標 126
3.4.3 啟發式算法 126
3.4.4 分支限界算法 128
3.5 帶學習效應的流水作業調度 134
3.5.1 有支配關系的流水車間作業任務調度 135
3.5.2 支配流水車間作業調度*優解規則 135
3.5.3 實例分析 142
3.6 本章小結 143
第4章 大數據計算任務云資源調度 145
4.1 大數據計算框架 145
4.1.1 MapReduce 計算框架 145
4.1.2 大數據計算任務 145
4.1.3 大數據計算任務云資源調度現狀 149
4.2 周期性 MapReduce 批處理作業調度 151
4.2.1 問題描述與建模 151
4.2.2 批處理作業調度方法 154
4.3 能耗感知 MapReduce 作業調度 164
4.3.1 系統狀態劃分 165
4.3.2 問題描述與數學模型 167
4.3.3 能耗感知 MapReduce 作業調度方法 169
4.4 本章小結 179
第5章 云服務系統調度性能分析 181
5.1 性能分析問題 181
5.1.1 問題分類 182
5.1.2 研究現狀 183
5.2 性能分析方法 186
5.2.1 確定處理器 186
5.2.2 M/B/N/N + R/FCFS 概率分析 187
5.2.3 G/G/N/∞/FCFS 概率分析 188
5.2.4 M/M[d]/N/∞/FCFS + D 概率分析 189
5.2.5 M/G/1/∞/FCFS 概率分析 190
5.3 云服務隨機請求的單隊列性能分析與調度 191
5.3.1 系統模型和問題描述 191
5.3.2 平衡響應時間和功耗算法 195
5.3.3 平衡響應時間和功耗實驗評估 207
5.4 截止期約束的云服務隨機請求彈性單隊列性能分析與調度 212
5.4.1 云系統模型和問題描述 213
5.4.2 能耗*小化算法 217
5.4.3 能耗*小化實驗評估 218
5.5 本章小結 224
第6章 線性約束云服務調度 226
6.1 彈性混合云資源下隨機多階段作業調度 226
6.1.1 問題描述與數學模型 227
6.1.2 動態事件調度算法 232
6.1.3 實驗分析與算法比較 241
6.2 彈性云資源下具有模糊性的周期性多階段作業調度 248
6.2.1 問題描述與數學模型 249
6.2.2 模糊動態事件調度算法 254
6.2.3 實驗分析和比較 263
6.3 本章小結 271
第7章 非線性約束云服務調度 272
7.1 基于非共享服務的工作流資源供應 275
7.1.1 基于關鍵路徑的迭代啟發式算法 277
7.1.2 實驗結果 284
7.2 基于共享服務的工作流資源供應 288
7.2.1 問題描述 288
7.2.2 多規則啟發式算法 291
7.2.3 實驗結果 303
7.3 截止期和服務區間約束的云工作流調度 313
7.3.1 問題描述與建模 315
7.3.2 基本性質 317
7.3.3 迭代分解啟發式算法 319
7.3.4 實驗與分析 326
7.4 資源預留模式下的周期性工作流調度 335
7.4.1 周期性工作流資源調度問題描述 336
7.4.2 相關研究 339
7.4.3 基于優先級樹的啟發式方法 340
7.4.4 實驗與分析 353
7.5 本章小結 359
第8章 云服務系統容錯調度 361
8.1 云系統中受截止期約束任務的混合容錯調度 362
8.1.1 問題模型 362
8.1.2 混合容錯調度算法 365
8.1.3 實驗分析 375
8.2 云系統中故障感知的彈性云工作流調度 384
8.2.1 問題模型 384
8.2.2 特征分析 387
8.2.3 故障感知彈性調度算法 392
8.2.4 實驗分析 398
8.3 本章小結 405
參考文獻 406
服務與資源調度 節選
第1章 調度概念、要素與架構 調度 (scheduling) 是實際生產系統的核心,與計劃 (planning) 和執行等環節緊密相關。調度已被不同學科 (如機械、交通、計算機、管理等) 學者從不同角度進行了廣泛研究,通過不同視角認識調度的本質,可充分利用不同研究觀點各自的優勢取長補短。由于調度是包含四類組件 (任務 (task)、資源、約束和目標) 的組合優化問題,可將其定義為一組任務到一組資源上的映射,滿足約束條件下實現一個或一組目標的優化。調度問題非常廣泛,可根據如下四類組件劃分角度對其進行刻畫。任務間的關系可分為三種類型:獨立、線性約束和非線性約束。資源可分為四類:物理設備、人力、資金和信息。約束也可分為四類:任務約束、資源約束、任務-任務約束和任務-資源約束。優化目標可簡單地劃分為三類:單目標、多目標和超多目標。由于絕大部分調度問題是 NP 難的,基于人工智能、大數據和云計算,提出“算法 + 知識 + 數據 + 算力”的新型智能復雜調度框架。 1.1 引言 數十年來調度一直是制造、交通運輸、計算機 (包括云計算、服務計算)、管理和自動化等多學科的熱門話題,不同學科的調度問題具有不同特征。 調度*早受到制造業關注 [1],即如何合理地為一組給定任務分配加工機器和必要工具,以*小化一個或多個目標 (如*大完成時間或 makespan、預算、成本等),或*大化一個或多個目標 (如資源利用率、能源消耗等)。實際制造系統中存在許多調度優化問題 (如組件生產調度、零部件生產調度、工人工班安排、組裝任務調度)。生產企業處于不同崗位的角色關注不同目標,如企業領導關注如何*小化工期、*小化零配件生產成本、*小化能源消耗、*大化資源利用率,而生產工人則期望收入*大化。調度通常受到各種用戶需求或條件約束,如產品需按時交付、工人技能水平參差不齊、預算受限等,實際應用中各種復雜約束使得調度問題異常復雜。如何為這類問題找到*優解甚至可行解非常難,因此,通常需要對一些約束進行簡化甚至完全不考慮,常見的經典生產調度包括單機器調度、作業車間 (job shop) 調度、流水車間調度、開放車間調度和項目調度等。因此,實際工程應用調度和調度理論研究間存在一定差距。技術變革推動著制造業等行業快速發展,調度問題越來越接近實際,待研究的調度問題也越來越復雜。除核心制造企業外,包括各級供應商、客戶等在內的整個供應鏈全局優化等越來越受到重視,實際制造過程在橫向和縱向上的調度優化問題及其相互關系如圖 1.1所示。另外,智慧制造、網絡化制造和云制造等造成資源地理分布、產品回收、可持續制造和客戶需求反饋等各類新型復雜約束條件,使相應的調度問題變得更加復雜。過去幾十年中,有大量關于制造調度的研究,僅綜述文章就超過 70 篇,主要包括工業 4.0、流水車間 (flow shop)、作業車間(job shop)、鋼鐵生產、網絡化制造、可持續制造、工藝規劃和調度集成與單機系統等。 圖 1.1 制造系統中的調度問題 交通運輸行業有許多調度問題,即在不同約束下如何通過運輸工具 (如船舶、飛機、卡車、火車、管道等) 運輸物品,典型的約束條件包括有限空間、裝載能力、等待時間、周轉時間、能源消耗等,常見的運輸方式有海運、陸運和空運。海運優化問題包括集裝箱調度、郵輪航線規劃、船舶路線選擇、貨物路線選擇、船隊調度/分配和海上石油運輸等;空運優化問題包括直升機路線規劃、空勤人員安排等。陸運優化是交通運輸調度中研究*多的問題,包括車輛路線規劃、旅行計劃、車輛出發時間優化、公交車調度、列車編組、機車路徑規劃和列車調度等。這些調度問題中大多數都是經典 TSP(旅行商問題) 的變體。 手術室是大部分醫院的關鍵資源,如何為多位不同緊急程度的患者同時合理安排多類資源 (如手術臺、特種醫療設備、床位、手術醫生、護士、麻醉師等) 是很難的問題。典型優化目標通常考慮*大化外科手術資源、*小化醫療費用、*小化等待時間、*小化完成時間或完工時間等,或者同時考慮多個目標。考慮這些目標的角色也不同,醫院管理者希望*大限度地利用有限醫療設備和人力資源,而患者希望*大化自己的滿意度并*小化費用。目前對外科規劃、手術臺調度、主刀醫生調度等主流調度問題都有不同程度的研究。實際手術室調度問題的許多不確定因素 (特別是許多人為操作通常都是不確定的),已有研究基本都不加考慮或者假定為確定的;外科技術的發展推動著更多調度問題的出現,如基于互聯網的遠程專家、遠程醫療設備綜合外科手術調度等。過去幾十年中已有大量外科手術調度文獻,部分研究將相應問題歸結為車間作業調度、機器調度、工作流和智能外科手術調度等。 自動化行業的調度問題更側重于實際應用,如自動化制造系統 (AMS)、自動導引車 (AGV) 調度、建筑自動化調度、智能家居電力調度等。AMS 中企業領導關注各種約束 (如預算和截止日期) 條件下的制造過程如何合理調度以減少能源消耗或提高資源利用率;在彈性制造系統或自動化倉儲中,AGV 廣泛用于不同地點間的物料運送,AGV 調度很重要,路徑容量、網絡布局和任務優先級等約束提高了該類問題的難度;建筑行業的一個重要問題是如何滿足時間和成本要求的項目施工,其中任務間具有復雜的偏序約束關系;智能家居系統中對家電進行合理調度可以在滿足硬約束和 (或) 軟約束下降低功耗。與其他領域類似,實際應用的自動化調度問題與相應的調度研究間也存在一定差距。自動化技術的發展也將帶來越來越多、更為復雜的調度問題。 管理科學中有許多與其他領域類似的調度問題,如能源管理、運營管理、供應鏈、物流、醫療保健管理、庫存管理、項目管理和生產管理,其中項目調度是項目管理的關鍵,也是管理科學*受關注的問題之一。項目調度中的任務是包含在項目中的活動 (activity),通常不同活動對不同類型資源 (如資金、人員、設備) 的需求不同,不同用戶關心的優化目標也不同,常見的目標有*小化項目工期、*小化項目成本、*大化項目收益、滿足截止日期的性能優化等。項目調度問題在實際應用中廣泛存在,已有研究可從不同角度進行分類,如單項目/多項目調度、單模式/多模式/無限模式項目調度。在過去幾十年中,研究*多的是資源受限項目調度問題 (RCPSP),并由此產生很多變體問題,如資源受限搶占式項目調度問題 (PRCPSP)、資源受限多模式項目調度問題 (MRCPSP)、資源受限多項目調度問題 (RCMPSP)、多目標資源受限項目調度問題 (MORCPSP) 和不確定資源受限項目調度問題等。 計算機系統中存在大量的調度問題,*基本的就是操作系統中的進程 (process)或線程 (thread) 調度,即如何合理地將用戶程序創建的進程或線程調度到計算機系統中的 CPU 等資源上以優化某個或某些指標 (如 CPU 利用率、吞吐量、等待時間、響應時間等),由于進程或線程通常彼此相互獨立,采用的主要調度規則有先來先服務 (FCFS)、*短作業優先 (SJF)、輪詢調度 (RR) 和優先權調度 (PS) 等。但這些簡單規則并不一定適用于地理分布計算資源 (如服務器)間有通信開銷的分布式計算場景,通信開銷會推遲任務的完成時間,甚至使其超過截止期;分布計算資源可能同構,也可能異構 (一般指具有不同處理速度),故考慮計算和通信開銷的調度將不再簡單。由于有限的本地計算資源難以滿足云計算中任務的巨大資源需求,假定具有無限云資源的云計算就成為任務分配理想模型,云計算架構主要包括三個層次:基礎設施即服務(infrastructure as a service,IaaS)、平臺即服務 (platform as a service,PaaS) 和軟件即服務 (software as a service,SaaS),不同資源租用方式 (預留、按需和競價計價) 等新屬性和約束為該類系統帶來許多調度難題。后來出現的邊緣計算技術在一定程度上可降低任務的通信開銷,但邊緣計算資源的計算能力遠不如云計算資源,如何在通信開銷和邊緣計算能力之間進行平衡又產生另一大類調度問題;云計算和邊緣計算調度的資源基本單位是虛擬機 (virtual machine,VM) 而非 CPU。單機系統中的程序由操作系統創建的進程或線程執行,隨著實際程序功能的迅速擴大,一臺計算機往往難以單獨執行,面對這樣的需求,面向服務架構 (SOA) 框架提供了一種解決方案,SOA 是一種組件與服務緊耦合的一體化 (monolithic) 框架,服務及服務間的切換需要大量資源,導致巨大資源浪費;后來出現的微服務為松耦合框架,每個微服務都僅需要一個容器,一個 VM 里可配置多個容器;與 SOA 應用 (application) 相比,微服務具有更多偏序約束關系。盡管兩類應用都可刻畫為工作流調度,但微服務調度比 SOA 應用調度困難得多;如何將容器配置到 VM和服務器也存在許多優化問題。大數據中采用 MapReduce、Spark 等模型在云計算環境下進行數據塊處理時,如何合理地將這些任務 (Map 任務、Reduce 任務、Spark 作業、Spark 級段或 Spark 任務) 調度到云資源,對大數據計算性能至關重要。在過去幾十年中,有大量關于計算機系統中的調度問題的研究,關注對象包括軟件定義系統、大數據、云計算 [2]、網格計算和多處理器系統等的任務調度。 此外,調度還存在于其他一些學科和實際應用中,相應的示意圖如圖 1.2所示。 圖 1.2 不同學科和應用中的調度問題 1.2 什么是調度 定義 1.1 調度是一個映射過程,即如何將一組任務或活動在滿足一組約束的條件下映射到一組資源上,以*優化 (*大化或*小化) 給定目標 (或目標向量)。調度確定出任務的執行順序及它在資源上的開始和結束時間,包含任務、資源、約束和目標四要素,如圖 1.3 所示。 圖 1.3 調度的組件 任務:所有要處理的事項、要執行的動作或要執行的程序都可視為任務,任務的所有屬性 (如處理時間、優先級等) 在調度前定義 (定義于計劃階段,下面將詳細敘述),任務也可視為被服務對象或服務消費者。極端情況下上述學科應用涉及的調度算法,其執行過程本質上也可視為計算任務,即操作系統為這些調度算法的實現程序創建進程或線程,并將進程或線程調度到處理器上執行。為簡化起見,下面涉及的被安排事項 (作業、任務、活動、操作、進程、線程、零件、物品、容器等) 通稱為任務。 資源:服務提供者提供的服務,通常調度所考慮的資源是有限的 (如果資源足夠豐富,則不需要調度),常見的資源有機床、CPU、服務器、虛擬機、內存、I/O 設備、登機口、公共汽車、乘務員、外科醫生、護士、病床、節點、插槽、教室、工人等。 約束:通常調度問題的解空間很大,但由于各種約束條件的限制,并非所有解都可行,這些約束將整個解空間的可行解分割為多個孤島 (實際上對于調度問題,這類離散優化解之間都不是連續的,這里僅將相對集中的一些解當成一個孤島),常見的約束條件有交貨期 (due date)、截止時間、優先級、安全性、隱私、預算、可用性、可靠性、到達時間等。. 目標:調度的目的是通過構造或設計出算法,從所有孤島中找到*優解 (調度或時間表),常見的優化目標有完成時間、總執行時間、遲延、響應時間、吞吐量、等待時間、租賃成本、能源、利用率、資源均衡、服務質量 (QoS) 等,有時同時考慮多目標 (兩個或三個目標) 或超多目標 (至少四個目標) 的優化。 調度的組合優化特性使得多項式時間復雜度內在孤立的多個可行解孤島上找到*優解幾乎不可能,搜索是目前解決這類離散優化問題的唯一方法。絕大多數調度問題都是 NP 難的,在用戶可接受的有限計算時間內找到*優值幾乎不可能,實際可接受的方案是找到近似*優或甚至可行解即可。此外,搜索算法的魯棒性也很重要,即所設計算法不僅對某些特定問題有效,而且對所有該
服務與資源調度 作者簡介
李小平,東南大學特聘教授、二級教授,博士生導師,教青部新世紀很好人才,CCF杰出會員、EEE不錯會員,CCF服務計算專委會常務委員、協同計算專委會常務委員,中國仿真學會智能仿真優化與調度專委會常務委員。主持國家重點研發計劃項目和課題、國家863計劃項目、國家科技支撐計劃課題、國家自然科學基金項目等10余項,參與國家自然基金重點項目1項(合作單位負責人)。在IEEE Transactions系列期刊(TC、TPDS、TSC、TASE、TCC、TCYB、TSMC.A)、FGCS、EJOR、OMEGA、Information Sciences 、Science China Information Sciences、《中國科學》、《計算機學報》等靠前國內高水平期刊或靠前會議上發表論文100余篇。主要研究方向:調度優化、服務計算、云計算、云制造、智能算法。
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
史學評論
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
我從未如此眷戀人間
- >
朝聞道
- >
羅曼·羅蘭讀書隨筆-精裝
- >
自卑與超越