-
>
公路車寶典(ZINN的公路車維修與保養(yǎng)秘籍)
-
>
晶體管電路設(shè)計(下)
-
>
基于個性化設(shè)計策略的智能交通系統(tǒng)關(guān)鍵技術(shù)
-
>
花樣百出:貴州少數(shù)民族圖案填色
-
>
山東教育出版社有限公司技術(shù)轉(zhuǎn)移與技術(shù)創(chuàng)新歷史叢書中國高等技術(shù)教育的蘇化(1949—1961)以北京地區(qū)為中心
-
>
鐵路機車概要.交流傳動內(nèi)燃.電力機車
-
>
利維坦的道德困境:早期現(xiàn)代政治哲學(xué)的問題與脈絡(luò)
生態(tài)大數(shù)據(jù)管理與多學(xué)科應(yīng)用 版權(quán)信息
- ISBN:9787030699732
- 條形碼:9787030699732 ; 978-7-03-069973-2
- 裝幀:一般膠版紙
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>
生態(tài)大數(shù)據(jù)管理與多學(xué)科應(yīng)用 內(nèi)容簡介
當(dāng)今生態(tài)學(xué)已經(jīng)發(fā)展到大科學(xué)、大數(shù)據(jù)、大理論時代,生態(tài)大數(shù)據(jù)的集成分析與信息挖掘逐漸成為地球系統(tǒng)科學(xué)研究的重要手段。本書以生態(tài)大數(shù)據(jù)為研究對象,介紹了生態(tài)大數(shù)據(jù)的概念與特征、主要來源與技術(shù)方法、重點關(guān)注方向,以及海量異構(gòu)數(shù)據(jù)存儲管理的基本思路、技術(shù)特點與應(yīng)用模式,闡述了基于GEE云計算平臺、基于機器學(xué)習(xí)的人工智能算法等大數(shù)據(jù)分析技術(shù)在生態(tài)學(xué)研究中的應(yīng)用,在此基礎(chǔ)上結(jié)合具體案例,介紹當(dāng)前生態(tài)大數(shù)據(jù)在生態(tài)工程成效評估、生態(tài)系統(tǒng)健康評價、生態(tài)安全診斷、生境適宜性評價、旱澇災(zāi)情監(jiān)測與損失評估等領(lǐng)域的多學(xué)科應(yīng)用,相關(guān)研究可為區(qū)域、國家乃至優(yōu)選尺度生態(tài)環(huán)境監(jiān)測、保護與治理現(xiàn)代化提供參考。
生態(tài)大數(shù)據(jù)管理與多學(xué)科應(yīng)用 目錄
第1章 生態(tài)大數(shù)據(jù)概述 1
1.1 生態(tài)大數(shù)據(jù)的概念 1
1.2 生態(tài)大數(shù)據(jù)的特征 2
1.3 生態(tài)大數(shù)據(jù)的主要來源 4
1.3.1 主要來源 4
1.3.2 全球生態(tài)觀測網(wǎng)絡(luò) 4
1.3.3 對地觀測大數(shù)據(jù) 5
1.3.4 公民科學(xué)的發(fā)展 5
1.4 生態(tài)大數(shù)據(jù)分析的技術(shù)方法 5
1.4.1 整合分析 5
1.4.2 數(shù)據(jù)挖掘 6
1.4.3 數(shù)據(jù)-模型融合 6
1.4.4 可視化及人機交互 7
1.5 發(fā)展歷程與應(yīng)用 7
1.5.1 大數(shù)據(jù)發(fā)展歷程 7
1.5.2 生態(tài)大數(shù)據(jù)發(fā)展歷程 9
1.5.3 主要應(yīng)用 9
1.6 生態(tài)大數(shù)據(jù)的平臺架構(gòu) 11
1.6.1 數(shù)據(jù)采集層 12
1.6.2 數(shù)據(jù)管理層 12
1.6.3 數(shù)據(jù)運算層 13
1.6.4 服務(wù)應(yīng)用層 14
1.7 面臨的主要挑戰(zhàn)與展望 14
1.7.1 主要挑戰(zhàn) 14
1.7.2 前景展望 15
1.8 本章小結(jié) 16
參考文獻 16
第2章 生態(tài)大數(shù)據(jù)管理 18
2.1 概述 18
2.1.1 生態(tài)大數(shù)據(jù)的數(shù)據(jù)密集問題 18
2.1.2 生態(tài)信息的大規(guī)模高并發(fā)訪問 19
2.2 非關(guān)系型數(shù)據(jù)庫NoSQL 20
2.2.1 廣義列模型:Google BigTable 21
2.2.2 Key-Value模型:Amazon Dynamo 22
2.2.3 文檔存儲模型:MongoDB 23
2.2.4 NoSQL基本思想總結(jié) 24
2.3 關(guān)系數(shù)據(jù)庫與海量異構(gòu)數(shù)據(jù)存儲 25
2.3.1 數(shù)據(jù)倉庫 25
2.3.2 復(fù)制技術(shù) 25
2.3.3 數(shù)據(jù)切分 27
2.3.4 關(guān)系數(shù)據(jù)庫和NoSQL結(jié)合方式 27
2.4 云計算平臺 29
2.4.1 Hadoop架構(gòu)介紹 29
2.4.2 HDFS分布式文件系統(tǒng) 30
2.4.3 MapReduce并行處理框架 31
2.4.4 基于Hadoop的生態(tài)數(shù)據(jù)存儲框架設(shè)計 32
2.5 本章小結(jié) 33
參考文獻 34
第3章 基于Google Earth Engine云平臺的陸表參數(shù)變化分析 35
3.1 概述 35
3.2 GEE云平臺 36
3.2.1 GEE概述 36
3.2.2 主要數(shù)據(jù)說明 39
3.3 研究區(qū)概況及分析方法 40
3.3.1 研究區(qū)概況 40
3.3.2 NDVI數(shù)據(jù)重建 41
3.3.3 時間序列分析 42
3.3.4 相關(guān)性分析 42
3.4 三峽庫區(qū)土地利用與陸表參數(shù)變化特征 42
3.4.1 植被SINDVI變化時空分布特征 42
3.4.2 地表溫度變化時空分布特征 43
3.4.3 反照率變化時空特征分析 45
3.4.4 土地利用變化分析 46
3.4.5 陸表參數(shù)相關(guān)分析 47
3.5 土地利用變化對關(guān)鍵陸表參數(shù)影響 48
3.5.1 土地利用與SINDVI研究 49
3.5.2 土地利用與地表溫度研究 49
3.5.3 土地利用與反照率研究 50
3.6 本章小結(jié) 50
3.6.1 討論 50
3.6.2 結(jié)論 51
參考文獻 52
第4章 基于機器學(xué)習(xí)算法的陸地生態(tài)系統(tǒng)碳通量估算 55
4.1 概述 55
4.2 通量觀測數(shù)據(jù)獲取與處理 57
4.2.1 觀測站點介紹 57
4.2.2 數(shù)據(jù)處理 57
4.3 主要機器學(xué)習(xí)方法與性能評價 59
4.3.1 機器學(xué)習(xí)方法 59
4.3.2 模型構(gòu)建 60
4.3.3 性能評價 60
4.4 主要結(jié)果分析 61
4.4.1 機器學(xué)習(xí)在不同陸地生態(tài)系統(tǒng)中的GPP模擬 61
4.4.2 機器學(xué)習(xí)在不同陸地生態(tài)系統(tǒng)中的RE模擬 64
4.4.3 機器學(xué)習(xí)在不同陸地生態(tài)系統(tǒng)中的NEE模擬 66
4.5 討論 68
4.5.1 機器學(xué)習(xí)模型的性能及其比較 68
4.5.2 機器學(xué)習(xí)模型在不同碳通量上的預(yù)測能力 68
4.5.3 機器學(xué)習(xí)模型在不同陸地生態(tài)系統(tǒng)上的預(yù)測能力 69
4.6 本章小結(jié) 69
參考文獻 70
第5章 基于生態(tài)大數(shù)據(jù)的西南喀斯特地區(qū)生態(tài)恢復(fù)成效評估 74
5.1 概述 74
5.2 生態(tài)工程恢復(fù)成效研究進展 76
5.3 生態(tài)工程恢復(fù)成效評估方法 76
5.3.1 相關(guān)數(shù)據(jù)介紹 76
5.3.2 統(tǒng)計分析方法 79
5.4 西南喀斯特地區(qū)植被SIF時空動態(tài)分析 80
5.4.1 空間格局 80
5.4.2 年際及季節(jié)動態(tài) 80
5.4.3 空間趨勢分析 82
5.5 生態(tài)工程影響評估 84
5.5.1 生態(tài)工程對區(qū)域植被SIF的影響 84
5.5.2 西南喀斯特地區(qū)植被動態(tài)影響因素 85
5.6 本章小結(jié) 86
參考文獻 87
第6章 基于生態(tài)大數(shù)據(jù)的紅樹林濕地生態(tài)系統(tǒng)健康評價 91
6.1 概述 91
6.2 紅樹林生態(tài)系統(tǒng)健康評價研究進展 93
6.3 漳江口紅樹林濕地生態(tài)系統(tǒng) 94
6.3.1 漳江口紅樹林濕地概況 94
6.3.2 土地覆蓋數(shù)據(jù)主要獲取來源 95
6.4 紅樹林濕地生態(tài)系統(tǒng)健康評價方法 95
6.4.1 評價指標(biāo)體系構(gòu)建 95
6.4.2 指標(biāo)權(quán)重計算 97
6.4.3 生態(tài)系統(tǒng)健康指數(shù) 97
6.5 紅樹林濕地生態(tài)系統(tǒng)變化 97
6.5.1 景觀格局變化特征 97
6.5.2 濕地生態(tài)系統(tǒng)的壓力-狀態(tài)-響應(yīng)健康狀況 99
6.5.3 濕地生態(tài)系統(tǒng)健康水平的時空變化 101
6.6 紅樹林濕地生態(tài)系統(tǒng)健康變化驅(qū)動力因素分析 102
6.6.1 互花米草入侵與海平面上升的影響 102
6.6.2 養(yǎng)殖業(yè)擴增與海堤建設(shè)的影響 102
6.6.3 保護區(qū)建設(shè)的影響 103
6.7 本章小結(jié) 104
參考文獻 104
第7章 基于生態(tài)大數(shù)據(jù)的區(qū)域生態(tài)安全診斷 106
7.1 生態(tài)安全概述 106
7.2 相關(guān)研究方法 107
7.2.1 生態(tài)足跡 109
7.2.2 生態(tài)承載力 109
7.2.3 生態(tài)赤字/盈余 109
7.2.4 生態(tài)壓力指數(shù) 110
7.3 全國尺度生態(tài)安全格局分析 110
7.3.1 生態(tài)足跡分析 110
7.3.2 生態(tài)承載力分析 112
7.3.3 生態(tài)安全分析 114
7.4 河南省生態(tài)安全格局分析 115
7.4.1 人均生態(tài)足跡分析 115
7.4.2 人均生態(tài)承載力分析 117
7.4.3 人均生態(tài)赤字/盈余與生態(tài)壓力指數(shù)分析 118
7.5 討論 120
7.6 本章小結(jié) 120
參考文獻 121
第8章 基于生態(tài)大數(shù)據(jù)的蔬菜重金屬含量研究 123
8.1 概述 123
8.2 重金屬Cd脅迫下植物高光譜技術(shù)的應(yīng)用及研究進展 124
8.2.1 基本原理 124
8.2.2 高光譜遙感信息提取方法 124
8.3 常見蔬菜Cd含量的高光譜遙感分析 127
8.3.1 小白菜 127
8.3.2 辣椒 131
8.3.3 莖瘤芥 136
8.4 討論 140
8.5 本章小結(jié) 141
參考文獻 141
第9章 基于生態(tài)大數(shù)據(jù)的干旱評價及其對糧食產(chǎn)量的影響 143
9.1 概述 143
9.2 微波遙感觀測土壤水分進展 144
9.2.1 遙感估算原理及全球產(chǎn)品介紹 144
9.2.2 微波遙感反演土壤水分算法研究進展 146
9.3 農(nóng)業(yè)干旱監(jiān)測方法 148
9.3.1 基于植被指數(shù)的干旱監(jiān)測 148
9.3.2 基于植被指數(shù)和溫度的干旱監(jiān)測 148
9.3.3 基于土壤水分的干旱監(jiān)測 149
9.4 東北地區(qū)干旱監(jiān)測及其對糧食產(chǎn)量的影響分析 149
9.4.1 研究區(qū)及數(shù)據(jù)源 149
9.4.2 基于土壤水分的東北地區(qū)干旱程度評價 151
9.4.3 干旱程度與糧食產(chǎn)量的關(guān)系 155
9.5 本章小結(jié) 158
參考文獻 158
第10章 基于生態(tài)大數(shù)據(jù)的植被總初級生產(chǎn)力估算及*新進展 161
10.1 概述 161
10.2 葉綠素?zé)晒膺b感反演進展 162
10.2.1 SIF主要獲取方法及優(yōu)勢 162
10.2.2 SIF遙感反演算法進展 163
10.3 常用的GPP估算方法 166
10.3.1 渦度相關(guān)算法 167
10.3.2 基于遙感資料的光能利用率模型 167
10.3.3 生態(tài)過程模型估測 167
10.3.4 動態(tài)全球植被模型 168
10.4 基于SIF估算GPP的不確定性與挑戰(zhàn) 168
10.4.1 基于SIF估算GPP的模型 168
10.4.2 基于SIF估算GPP的不確定性 170
10.4.3 機遇與挑戰(zhàn) 171
10.5 本章小結(jié) 174
參考文獻 175
第11章 基于生態(tài)大數(shù)據(jù)的越冬水禽棲息地植被動態(tài)及影響因素分析 181
11.1 概述 181
11.2 方法與數(shù)據(jù) 182
11.2.1 研究區(qū)概況 182
11.2.2 數(shù)據(jù)來源與處理 184
11.3 水禽越冬季植被覆蓋季內(nèi)動態(tài)變化 185
11.3.1 季內(nèi)時間變化特征 185
11.3.2 季內(nèi)空間變化特征 186
11.4 水禽越冬季植被覆蓋年際動態(tài)變化 187
11.4.1 年際時間變化特征 187
11.4.2 年際空間變化特征 188
11.5 水文條件對植被年際動態(tài)變化的影響 190
11.6 討論 191
11.6.1 越冬季植被覆蓋動態(tài)變化的限制因素 191
11.6.2 影響水禽數(shù)量的潛在因素 193
11.7 本章小結(jié) 194
參考文獻 194
第12章 基于生態(tài)大數(shù)據(jù)的洪水淹沒分析與災(zāi)情評估 197
12.1 概述 197
12.2 洪水淹沒研究進展 198
12.3 實驗過程 201
12.3.1 研究區(qū)概況和數(shù)據(jù)預(yù)處理 201
12.3.2 洪水淹沒分析方法 204
12.3.3 研究方法 206
12.4 實驗討論 208
12.4.1 實驗結(jié)果 208
12.4.2 望江縣洪水淹沒現(xiàn)狀 208
12.4.3 洪水災(zāi)情模型評估權(quán)重選取 209
12.5 本章小結(jié) 211
參考文獻 211
第13章 基于生態(tài)大數(shù)據(jù)的西南地區(qū)極端干旱季節(jié)性響應(yīng)分析 213
13.1 干旱概述 213
13.2 西南地區(qū)干旱研究進展 214
13.3 干旱的季節(jié)性研究方法 216
13.3.1 主要數(shù)據(jù)說明 217
13.3.2 研究方法介紹 219
13.4 西南地區(qū)極端干旱的季節(jié)性響應(yīng)分析 221
13.4.1 地表水響應(yīng) 221
13.4.2 植被響應(yīng) 222
13.4.3 氣象響應(yīng) 224
13.5 討論 225
13.6 本章小結(jié) 226
參考文獻 226
生態(tài)大數(shù)據(jù)管理與多學(xué)科應(yīng)用 節(jié)選
第1章 生態(tài)大數(shù)據(jù)概述 本章導(dǎo)讀 大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)用價值高為主要特征的數(shù)據(jù)集合,正快速發(fā)展為對數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)進行采集、存儲和關(guān)聯(lián)分析,從中獲取新知識、創(chuàng)造新價值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。隨著人類命運共同體、可持續(xù)發(fā)展、生態(tài)安全等全球生態(tài)環(huán)境問題成為新時期人類社會發(fā)展面臨的現(xiàn)實問題,生態(tài)文明建設(shè)成為中華民族永續(xù)發(fā)展的千年大計,這對大數(shù)據(jù)時代生態(tài)學(xué)研究提出了新的要求。綜合應(yīng)用云計算、物聯(lián)網(wǎng)、人工智能、數(shù)值模擬等信息處理技術(shù),已成為區(qū)域、國家乃至全球尺度生態(tài)環(huán)境監(jiān)測、保護與治理現(xiàn)代化的重要手段。以天-空-地立體生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)為基礎(chǔ),建立生態(tài)大數(shù)據(jù)管理中心,加強生態(tài)大數(shù)據(jù)綜合應(yīng)用和集成分析,打造智慧決策的“環(huán)境大腦”,為生態(tài)環(huán)境保護科學(xué)決策提供全面支撐。 1.1 生態(tài)大數(shù)據(jù)的概念 隨著全球經(jīng)濟的快速發(fā)展和人類活動的不斷加劇,生態(tài)環(huán)境問題日益嚴重。目前全球性生態(tài)環(huán)境問題主要表現(xiàn)在環(huán)境污染、土地退化、森林銳減、生物多樣性喪失、水資源枯竭以及氣候變暖等方面[1,2]。中國的生態(tài)環(huán)境問題突出表現(xiàn)在水土流失嚴重、濕地面積減少、水資源短缺加劇、生物多樣性減少、草原退化和土地沙化尚未得到有效遏制等方面。此外,氣候變化導(dǎo)致中國內(nèi)陸冰川凍土加劇融化、局部沙漠化、海平面上升和海水倒灌、旱澇災(zāi)害增加、農(nóng)業(yè)生產(chǎn)受損等[3]。這些問題往往涉及尺度大、過程復(fù)雜、驅(qū)動因素眾多,需要面對海量的多源異構(gòu)生態(tài)環(huán)境數(shù)據(jù),給全球生態(tài)環(huán)境問題的監(jiān)測、評估和應(yīng)對帶來了巨大的挑戰(zhàn)。 大數(shù)據(jù)是繼物聯(lián)網(wǎng)和云計算之后信息技術(shù)產(chǎn)業(yè)又一次重要的技術(shù)變革,該技術(shù)對于處理超出傳統(tǒng)數(shù)據(jù)庫系統(tǒng)存儲管理和分析處理能力的多源海量數(shù)據(jù)集群,具有很大的技術(shù)優(yōu)勢。近年來,大數(shù)據(jù)已經(jīng)在農(nóng)業(yè)、經(jīng)濟、氣象、交通、醫(yī)療、通信等領(lǐng)域得到了有效應(yīng)用。生態(tài)學(xué)領(lǐng)域也逐漸認識到了大數(shù)據(jù)的優(yōu)勢,并開展了全球氣候變化預(yù)測、生態(tài)網(wǎng)絡(luò)觀測與模擬、環(huán)境污染防控、生態(tài)環(huán)境評估等研究[3]。2016年,環(huán)境保護部發(fā)布了《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》,該方案將生態(tài)環(huán)境大數(shù)據(jù)的構(gòu)建作為推動生態(tài)文明建設(shè)的重要保障措施。在大數(shù)據(jù)時代,如何基于生態(tài)大數(shù)據(jù)實現(xiàn)生態(tài)學(xué)理論的發(fā)展和突破,服務(wù)于新時期生態(tài)文明建設(shè)等重大問題的解決,具有重要意義[4]。 目前關(guān)于大數(shù)據(jù)的定義并沒有達成完全的統(tǒng)一,一般泛指用傳統(tǒng)方法或工作所不能處理或分析的數(shù)據(jù)信息。參考前人研究[5-7],本書中的生態(tài)大數(shù)據(jù)是指運用大數(shù)據(jù)理念、技術(shù)和方法,解決生態(tài)環(huán)境領(lǐng)域數(shù)據(jù)的采集、存儲、計算與應(yīng)用等一系列問題,是大數(shù)據(jù)理論和技術(shù)在生態(tài)環(huán)境領(lǐng)域的具體應(yīng)用和實踐,是為生態(tài)環(huán)保決策問題提供服務(wù)的大數(shù)據(jù)集、大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用的總稱。生態(tài)大數(shù)據(jù)包含了一般大數(shù)據(jù)的基本屬性,同時比一般大數(shù)據(jù)表現(xiàn)得更為特殊,內(nèi)容更為龐雜,服務(wù)需求更為專業(yè)化和多樣化等。近年來,隨著信息技術(shù)、網(wǎng)絡(luò)技術(shù)和“3S”技術(shù)等相關(guān)技術(shù)的發(fā)展,生態(tài)大數(shù)據(jù)呈現(xiàn)出猛烈增長的勢頭,積累了幾十年甚至上百年的數(shù)據(jù),使得這些海量數(shù)據(jù)從存儲管理到分析挖掘都面臨著巨大的挑戰(zhàn)。 1.2 生態(tài)大數(shù)據(jù)的特征 大數(shù)據(jù)是以“6V”為主要特征的數(shù)據(jù)集合,具體包括:海量規(guī)模(volume)、類型多樣(variety)、高速率(velocity)、應(yīng)用價值大(value)、真實性低(veracity)和易受攻擊性(vulnerable)[8]。**,數(shù)據(jù)量大。通過各種設(shè)備產(chǎn)生的海量數(shù)據(jù),規(guī)模龐大,數(shù)據(jù)量從TB級別躍升到PB級別。第二,數(shù)據(jù)種類繁多。數(shù)據(jù)來源種類多樣化,不僅包括傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù),還包括各種非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),而且非結(jié)構(gòu)化數(shù)據(jù)所占比例越來越高。第三,大數(shù)據(jù)的“快”,包括數(shù)據(jù)產(chǎn)生快和具備快速實時的數(shù)據(jù)處理能力兩個層面。**層面是數(shù)據(jù)產(chǎn)生得快。目前有的數(shù)據(jù)是爆發(fā)式產(chǎn)生,例如歐洲核子研究中心的大型強子對撞機在工作狀態(tài)下每秒產(chǎn)生PB級的數(shù)據(jù),而有的數(shù)據(jù)是涓涓細流式產(chǎn)生。但是由于用戶眾多,短時間內(nèi)產(chǎn)生的數(shù)據(jù)量依然非常龐大,例如點擊流、日志、射頻識別數(shù)據(jù)、GPS位置信息等。第二層面是對數(shù)據(jù)快速、實時處理的能力強。大數(shù)據(jù)技術(shù)通過發(fā)展不同于傳統(tǒng)的快速處理的算法,對海量動態(tài)數(shù)據(jù)進行處理分析,將它們轉(zhuǎn)換為可用的有價值數(shù)據(jù)。因此,大數(shù)據(jù)對實時處理有著較高的要求,數(shù)據(jù)的處理效率決定著獲得信息的能力。第四,數(shù)據(jù)價值密度低、應(yīng)用價值高。眾多不同數(shù)據(jù)集組成大數(shù)據(jù)集,這些數(shù)據(jù)集價值密度的高低與數(shù)據(jù)集總量的大小成反比。在大數(shù)據(jù)應(yīng)用中,數(shù)據(jù)量大的數(shù)據(jù)并不一定有很大的價值,不能被及時有效處理分析的數(shù)據(jù)也沒有很大的應(yīng)用價值。第五,真實性低。隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起,我們能獲得的數(shù)據(jù)源爆炸式增長,這使得獲得的數(shù)據(jù)具有模糊性。真實性將促使人們利用數(shù)據(jù)融合和先進的數(shù)學(xué)方法進一步提升數(shù)據(jù)的質(zhì)量,從而創(chuàng)造更高價值。例如社交網(wǎng)絡(luò)中的視頻、語音、日志等獲得的原始數(shù)據(jù)真實性差,需要我們對其進行過濾和處理才能提取出有用的信息。第六,易受攻擊性。大數(shù)據(jù)的安全主要包括大數(shù)據(jù)自身安全和大數(shù)據(jù)技術(shù)安全。大數(shù)據(jù)自身安全指在數(shù)據(jù)采集、存儲、挖掘、分析和應(yīng)用過程中的安全,在這些過程中由于外部網(wǎng)絡(luò)攻擊和人為操作不當(dāng)造成數(shù)據(jù)信息泄露,外部攻擊包括對靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)的數(shù)據(jù)傳輸攻擊、數(shù)據(jù)內(nèi)容攻擊、數(shù)據(jù)管理和網(wǎng)絡(luò)物理攻擊。大數(shù)據(jù)技術(shù)在解決生態(tài)環(huán)境問題時形成了生態(tài)大數(shù)據(jù)獨一無二的特征[9]。 1. 生態(tài)大數(shù)據(jù)具有天-空-地立體化觀測的巨大數(shù)據(jù)量 從數(shù)據(jù)規(guī)模來看,生態(tài)大數(shù)據(jù)體量大,數(shù)據(jù)量已從TB級別躍升到PB級別。隨著各類傳感器、射頻識別技術(shù)(radio frequency identification,RFID)、衛(wèi)星遙感、雷達和視頻感知等技術(shù)的發(fā)展,數(shù)據(jù)不僅來源于傳統(tǒng)人工觀測數(shù)據(jù),還包括航空、航天和地面自動觀測數(shù)據(jù),它們一起產(chǎn)生了海量生態(tài)環(huán)境數(shù)據(jù)。目前全球范圍內(nèi)與生態(tài)環(huán)境相關(guān)的各種觀測和實驗數(shù)據(jù)已累計超過百萬億兆,且數(shù)據(jù)量還在快速增加[10]。例如,2011年世界氣象中心就已經(jīng)積累了229 TB數(shù)據(jù),我國林業(yè)、交通、氣象和環(huán)保等的數(shù)據(jù)量級也都達到了PB級別,而且還在以每年數(shù)百TB的速度增加。 2. 生態(tài)大數(shù)據(jù)的類型、來源和格式具有復(fù)雜多樣性 從數(shù)據(jù)種類來看,生態(tài)大數(shù)據(jù)類型多,數(shù)據(jù)來源渠道廣,結(jié)構(gòu)復(fù)雜。首先,生態(tài)環(huán)境數(shù)據(jù)來自氣象、水利、國土、環(huán)保、農(nóng)業(yè)、林業(yè)、交通、社會經(jīng)濟等不同部門的各種數(shù)據(jù)。其次,大數(shù)據(jù)技術(shù)的發(fā)展使得生態(tài)環(huán)境領(lǐng)域的研究不再局限于傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)類型,使得各種半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)(文本、項目報告、照片、影像、聲音、視頻等)的應(yīng)用與分析成為可能。例如一段歷史電影視頻中關(guān)于氣候的描述、公眾手機拍攝的關(guān)于植物類別的圖片等。再次,來源于不同部門的同一種數(shù)據(jù)其格式多樣,目前無統(tǒng)一的標(biāo)準(zhǔn)規(guī)范,使得難以整合不同部門之間的同類數(shù)據(jù)。 3. 生態(tài)大數(shù)據(jù)需要動態(tài)新數(shù)據(jù)和歷史數(shù)據(jù)相結(jié)合處理 從數(shù)據(jù)處理速度來看,由于生態(tài)系統(tǒng)結(jié)構(gòu)與功能的動態(tài)變化而引起的生態(tài)環(huán)境數(shù)據(jù)具有強烈的時空異質(zhì)性,生態(tài)環(huán)境數(shù)據(jù)多表現(xiàn)為流式數(shù)據(jù)特征,實時連續(xù)觀測尤為重要。只有實時處理分析這些動態(tài)新數(shù)據(jù),并與已有歷史數(shù)據(jù)結(jié)合起來分析,才能挖掘出有用信息,為解決有關(guān)生態(tài)環(huán)境問題提供科學(xué)決策。 4. 生態(tài)大數(shù)據(jù)具有很高的應(yīng)用價值 從數(shù)據(jù)價值來看,生態(tài)大數(shù)據(jù)無疑具有巨大的潛在應(yīng)用價值,利用大數(shù)據(jù)技術(shù)從海量數(shù)據(jù)中挖掘出*有用的信息,把低價值數(shù)據(jù)轉(zhuǎn)換為高價值數(shù)據(jù),*終,高價值大數(shù)據(jù)為解決各種生態(tài)環(huán)境問題提供科學(xué)依據(jù),從而改善人類生存環(huán)境和提高人們生活質(zhì)量。 5. 生態(tài)大數(shù)據(jù)具有很高的不確定性 從數(shù)據(jù)真實性來看,雖然應(yīng)用于生態(tài)環(huán)境領(lǐng)域的各種傳感器監(jiān)測精度都很高,但正是因為這一點,儀器往往會順帶記錄大量的周邊環(huán)境數(shù)據(jù),而我們感興趣的數(shù)據(jù)可能會埋沒在大量數(shù)據(jù)中。因此,為了確保數(shù)據(jù)的精準(zhǔn)度,需要利用大數(shù)據(jù)技術(shù)從海量數(shù)據(jù)中去偽存真,獲取真實數(shù)據(jù)。 6. 生態(tài)大數(shù)據(jù)面臨嚴重的安全隱患 很多野外觀測數(shù)據(jù)需要網(wǎng)絡(luò)傳輸,這就加大了被網(wǎng)絡(luò)攻擊的風(fēng)險,如果涉及一些軍用的生態(tài)環(huán)境數(shù)據(jù),就可能推測到我國軍方的敏感信息,后果不堪設(shè)想。隨著云計算技術(shù)的發(fā)展,數(shù)據(jù)在云端的存儲存在嚴重的安全隱患。例如美國“棱鏡門”事件,就是通過云計算和大數(shù)據(jù)技術(shù)收集大量數(shù)據(jù),其中也涵蓋了各國的生態(tài)環(huán)境數(shù)據(jù)等。 1.3 生態(tài)大數(shù)據(jù)的主要來源 21世紀以來,隨著網(wǎng)絡(luò)和信息技術(shù)的快速發(fā)展,生態(tài)觀測技術(shù)有了長足的進步,已逐漸從人工采集生態(tài)數(shù)據(jù)的1.0時代、由儀器設(shè)備采集并長期存儲數(shù)據(jù)的2.0時代逐漸過渡到今天結(jié)合“互聯(lián)網(wǎng)”概念的實時傳輸云存儲的3.0時代。同時,新技術(shù)和新方法如穩(wěn)定同位素、核磁共振、生物標(biāo)記物、高通量基因組測序、基因芯片、渦動相關(guān)、遙感等技術(shù)的發(fā)展,極大地提升了生態(tài)環(huán)境觀測從微觀到宏觀尺度的數(shù)據(jù)獲取能力。借助物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)和人工智能等新一代信息技術(shù),融合衛(wèi)星、無人機和地面觀測的天-空-地一體化生態(tài)環(huán)境觀測體系逐漸形成,實現(xiàn)了多尺度、多要素、多過程海量生態(tài)數(shù)據(jù)的集成獲取,為生態(tài)大數(shù)據(jù)的多學(xué)科應(yīng)用奠定了堅實的基礎(chǔ)。 1.3.1 主要來源 生態(tài)大數(shù)據(jù)的來源主要包括地面觀測、遙感影像、遙感監(jiān)測指標(biāo)產(chǎn)品、遙感監(jiān)測業(yè)務(wù)產(chǎn)品、遙感監(jiān)測綜合服務(wù)產(chǎn)品以及基礎(chǔ)背景資料6大類數(shù)據(jù)及產(chǎn)品(表1-1)[11]。 表1-1 生態(tài)大數(shù)據(jù)的主要來源分析 1.3.2 全球生態(tài)觀測網(wǎng)絡(luò) 一系列全球研究計劃的興起支撐和推動了大尺度生態(tài)環(huán)境研究的快速發(fā)展[10],如國際生物圈計劃(International Biology Plans,IBP)催生了長期生態(tài)學(xué)研究網(wǎng)絡(luò)(Long Term Ecosystem Research,LTER);與此同時,區(qū)域/全球尺度的聯(lián)網(wǎng)觀測與實驗蓬勃發(fā)展,如亞洲通量觀測系統(tǒng)(AsiaFlux)、歐洲集成碳觀測系統(tǒng)(Integrated Carbon Observation System,ICOS)、歐洲物候網(wǎng)(PEP725)、泛美全球變化研究網(wǎng)絡(luò)(Inter-American Institute for Global Change Research,IAI)和歐洲全球變化研究網(wǎng)絡(luò)(European Network for Research in Climate Change,EN-RICH)以及全球通量觀測研究網(wǎng)絡(luò)(FLUXNET)、國際干旱實驗網(wǎng)絡(luò)(Drought Network)等。這些聯(lián)網(wǎng)觀測和實驗的目的是探索大尺度的生態(tài)環(huán)境問題,其根本目標(biāo)之一是揭示單個站點所無法回答的科學(xué)問題。近年來,基于物聯(lián)網(wǎng)、自動觀測、融合地面和遙感觀測形成的美國國家生態(tài)觀測網(wǎng)絡(luò)(National Ecological Observatory Network,NEON)與澳大利亞生態(tài)觀測研究網(wǎng)絡(luò)(Terrestrial Ecosystem Research Network,TERN)成為新一代大陸尺度生態(tài)觀測網(wǎng)絡(luò)的代表,使用了大量生態(tài)觀測傳感器,涵蓋多種觀測指標(biāo)。這些區(qū)域/全球尺度觀測、實驗網(wǎng)絡(luò)的建立為生態(tài)大數(shù)據(jù)的不斷增加提供了重要平臺。 1.3.3 對地觀測大數(shù)據(jù) 通過飛行器搭載的傳感器對地球進行觀測可以獲得地球全面而系統(tǒng)的信息。隨著空間信息技術(shù)的高速發(fā)展,對地觀測步入了大數(shù)據(jù)時代[12]。遙感數(shù)據(jù)的產(chǎn)生,彌補了傳統(tǒng)地面調(diào)查空間尺度有限的缺點,已逐漸成為生態(tài)大數(shù)據(jù)必不可少的來源。遙感平臺按觀測高度可分為低空遙感和高空遙感。低空遙感主要通過無人機完成,具有機動、靈活、高效的特點。高空遙感主要通過衛(wèi)星與航空完成,具有觀測范圍大、時間序列長、數(shù)據(jù)獲取成本低等優(yōu)點。經(jīng)過幾十年的發(fā)展,不同衛(wèi)星遙感的分辨率已從公里級(MODIS)進入米級(IKONOS/OrbView)、亞米級(QuickBird/WorldView/高分2號),且實現(xiàn)了不同波段的全覆蓋。
- >
自卑與超越
- >
月亮虎
- >
經(jīng)典常談
- >
我與地壇
- >
朝聞道
- >
【精裝繪本】畫給孩子的中國神話
- >
伊索寓言-世界文學(xué)名著典藏-全譯本
- >
詩經(jīng)-先民的歌唱