第1章 數據工程概論
1.1 數據工程的相關概念
1.1.1 數據的定義和生命周期
1.1.2 數據、信息、知識和智慧
1.1.3 數據工程的定義和內涵
1.2 數據工程體系建設
1.2.1 總體架構
1.2.2 體系維的建設內容
1.2.3 標準維的建設內容
1.2.4 技術維的建設內容
1.3 數據工程現狀與發展
1.3.1 我國數據工程建設發展
1.3.2 美軍數據工程建設發展
本章小結
本章參考文獻
第2章 數據規劃設計
2.1 數據規劃設計概述
2.1.1 數據規劃概念的提出
2.1.2 數據規劃的定義
2.1.3 數據規劃的核心思想
2.1.4 數據規劃的作用
2.2 數據規劃設計方法
2.2.1 基于穩定信息過程的數據規劃方法
2.2.2 基于穩定信息結構的數據規劃方法
2.2.3 基于指標能力的數據規劃方法
2.2.4 數據規劃方法比較
2.3 數據規劃中的需求分析
2.3.1 需求分析概述
2.3.2 需求獲取方法
2.3.3 用戶視圖分析技術
2.4 數據規劃設計工具
2.4.1 IRP2000信息資源規劃工具
2.4.2 DP2020數據資源規劃工具
本章小結
本章參考文獻
第3章 數據模型構建
3.1 數據模型的基本概念
3.1.1 概念模型
3.1.2 邏輯模型
3.1.3 物理模型
3.1.4 數據模型種類
3.2 數據建模標記符號
3.2.1 實體—聯系圖標記符號
3.2.2 IDEF1x標記符號
3.2.3 信息工程標記符號
3.2.4 UML數據模型標記符號
3.2.5 標記符號的補充說明
3.3 數據模型描述方法
3.3.1 概念數據模型描述方法
3.3.2 邏輯數據模型描述方法
3.3.3 物理數據模型描述方法
3.4 關系模型構建技術
3.4.1 關系模型的基本概念
3.4.2 關系模型的構建步驟
3.5 維度模型構建技術
3.5.1 維度模型的基本概念
3.5.2 維度模型的基本構建步驟
3.6 基于本體的數據模型構建技術
3.6.1 本體的基本概念
3.6.2 本體的構建原則與步驟
3.6.3 基于本體的數據模型構建
本章小結
本章參考文獻
第4章 數據采集與數據處理
4.1 數據采集概述
4.1.1 數據采集的基本概念
4.1.2 數據采集原理
4.1.3 數據采集分類
4.2 數據采集策略與方法
4.2.1 數據采集策略
4.2.2 面向不同對象的數據采集方法
4.3 數據采集工具
4.3.1 系統日志采集工具
4.3.2 網絡數據采集工具
4.4 數據處理概述
4.4.1 數據集成
4.4.2 數據轉換
4.4.3 數據清洗
4.5 數據清洗方法
4.5.1 缺失數據處理
4.5.2 重復數據處理
4.5.3 異常數據處理
4.5.4 邏輯錯誤數據處理
4.6 數據處理工具
4.6.1 Kettle工具
4.6.2 DataX工具
4.6.3 PowerCenter工具
本章小結
本章參考文獻
第5章 數據存儲與數據管理
5.1 數據存儲介質
5.2 數據存儲類型
5.2.1 傳統存儲技術
5.2.2 云存儲技術
5.3 數據存儲設計
5.3.1 數據規模小且計算性能要求低的場景
5.3.2 數據規模小但計算性能要求高的場景
5.3.3 數據規模大但計算性能要求低的場景
5.3.4 數據規模大且計算性能要求高的場景
5.4 數據管理策略
5.4.1 數據存儲的安全
5.4.2 存儲數據的備份
本章小結
本章參考文獻
第6章 數據分析與數據挖掘
6.1 數據分析與數據挖掘概述
6.1.1 數據分析與數據挖掘的相關概念
6.1.2 數據分析與數據挖掘的一般過程
6.2 數據分析方法和技術
6.2.1 數據的描述性統計分析
6.2.2 顯著性差異分析
6.2.3 相關性分析與回歸分析
6.3 數據挖掘方法
6.3.1 關聯規則挖掘
6.3.2 分類與預測
6.3.3 聚類分析
本章小結
本章參考文獻
第7章 數據共享應用
7.1 數據共享體系
7.1.1 數據共享概述
7.1.2 數據共享的體系框架
7.1.3 數據共享的模式
7.1.4 數據共享的實現途徑
7.2 數據應用體系
7.2.1 數據應用體系框架
7.2.2 數據應用模式
7.2.3 數據應用能力
7.2.4 數據應用目的
7.3 數據服務
7.3.1 數據目錄服務
7.3.2 數據發布服務
7.3.3 數據資源全文檢索服務
本章小結
本章參考文獻
第8章 數據標準規范
8.1 數據標準規范概述
8.1.1 標準和標準化的基本概念
8.1.2 數據標準化的概念
8.1.3 數據標準體系
8.2 元數據標準化
8.2.1 元數據基本概念
8.2.2 典型元數據標準
8.2.3 元數據標準的分類與管理
8.2.4 元數據標準參考框架
8.3 數據元標準化
8.3.1 數據元概念
8.3.2 數據元的基本屬性
8.3.3 數據元的命名和定義
8.3.4 數據元的表示格式和值域
8.3.5 數據元間的關系
8.4 數據分類與編碼
8.4.1 數據分類的基本原則和方法
8.4.2 數據編碼的基本原則和方法
本章小結
本章參考文獻
第9章 數據工程實踐案例
9.1 案例背景介紹
9.1.1 背景分析
9.1.2 需求分析
9.2 體系結構設計
9.3 數據資源規劃設計
9.3.1 確定職能域
9.3.2 確定其業務過程及活動
9.3.3 職能域數據分析
9.3.4 建立數據資源標準規范
9.3.5 建立信息系統功能模型
9.3.6 建立初步數據模型
9.3.7 形成數據規劃方案
9.4 數據模型構建
9.4.1 提煉核心數據對象
9.4.2 建立數據對象關系
9.4.3 構建詳細數據模型
9.5 數據采集處理
9.5.1 確定數據采集對象
9.5.2 設計數據采集手段
9.5.3 實施數據采集處理
9.6 數據加工生產
9.6.1 產品目錄
9.6.2 數據框架
9.6.3 軟件車床
9.6.4 累積校驗