高等學校通識教育系列教材計算機基礎與計算思維 節選

第5章大數據技術 近幾年，大數據技術迅猛發展，在各個領域都得到了廣泛關注，推動了新一輪技術發展浪潮。大數據技術的發展，已被列為國家重大發展戰略。隨著大數據技術的發展，大數據處理及其行業應用價值有目共睹。本章將從大數據的發展背景、大數據的基本概念和特點、大數據處理主要技術等方面簡要介紹大數據技術的基礎知識。 5.1大數據概述 “大數據”一詞已經無處不在，然而，其概念仍然存在混淆。大數據已被用于承載所有類型的概念，包括巨量的數據、社交媒體分析、下一代數據管理能力、實時數據等。無論是任何種類，人們都已經開始理解并且探索如何以新的方式處理并分析大量的信息。 5.1.1大數據的發展背景 近幾年，大數據迅速發展成為科技界和企業界甚至世界各國政府關注的熱點。人們對于大數據的挖掘和運用，預示著新一波生產力增長和消費浪潮的到來。美國政府認為大數據是“未來的鉆石礦和新石油”，一個國家擁有數據的規模和運用數據的能力將成為綜合國力的重要體現，對數據的占有和控制將成為國家間和企業間新的爭奪焦點。全球著名管理咨詢公司麥肯錫(McKinsey&Company)首先提出了“大數據時代”的到來并聲稱： “數據已經滲透到當今各行各業的職能領域，成為重要的生產因素。” 隨著計算機和信息技術的迅猛發展與普及應用，行業應用系統的規模迅速擴大，行業應用所產生的數據呈爆炸性增長。互聯網(社交、搜索、電商)、移動互聯網(微博、微信)、物聯網(傳感器、智慧地球)、車聯網、GPS、醫學影像、安全監控、金融(銀行、股市、保險)、電信(通話、短信)都在瘋狂地產生數據。例如，互聯網領域中，谷歌搜索引擎的每秒使用用戶量達到200萬； 科研領域中，僅某大型強子對撞機在一年內積累的新數據量就達到15PB左右； 電子商務領域中，eBay的分析平臺每天處理的數據量高達10PB，超過了納斯達克交易所每天的數據處理量； “雙十一”大型商業活動中，淘寶商城屢創神話，銷售額由2010年的9億元一路攀升到2017年的1682億元，支付寶平臺平均每秒成功交易25.6萬筆，交易覆蓋二百多個國家和地區； 航空航天領域中，僅一架雙引擎波音737飛機在橫貫大陸飛行的過程中，傳感器網絡便會產生近240TB的數據。綜合各個領域，目前積累的數據量已經從TB量級上升至PB、EB甚至ZB量級，其數據規模已經遠遠超出了現有通用計算機所能夠處理的量級。 根據全球著名咨詢機構互聯網數據中心(Internet Data Center，IDC)做出的估測，人類社會產生的數據一直都在以每年50%的速度增長，也就是說，每兩年數據量就會增加一倍，即已形成了“大數據摩爾定律”，這意味著人類在*近兩年產生的數據量相當于之前產生的全部數據量之和。據IDC統計，2011年全球被創建和復制的數據總量為1.8ZB，到2020年這一數據將攀升到35ZB，我國的數據量到2020年將超過8ZB，其中8%以上來自于個人(主要是圖片、視頻和音樂)，遠遠超過人類有史以來所有印刷材料的數據總量(200PB)。目前，全球的數據量正以每18個月至24個月翻一番的速度膨脹式增長，數據量的飛速增長也帶來了大數據技術和服務市場的繁榮發展。 5.1.2大數據的基本概念 “大數據”一詞由英文Big Data翻譯而來，是近幾年興起的概念。往前追溯卻發現由來已久，早在1980年就已由美國著名未來學家阿爾文·托夫勒在《第三次浪潮》一書中提及，并將大數據贊頌為“第三次浪潮的華彩樂章”。 1. 大數據的定義 “大數據”并不等同于“大規模數據”，那么何謂“大數據”呢？迄今并沒有公認的定義，由于大數據是相對概念，因此，目前的定義都是對大數據的定性描述，并未明確定量指標。 維基(Wiki)百科給出的大數據概念是： 在信息技術中，“大數據”是指一些使用現有數據庫管理工具或者傳統數據處理應用很難處理的大型而復雜的數據集。其挑戰包括采集、管理、存儲、搜索、共享、分析和可視化。 麥肯錫公司認為將數據規模超出傳統數據庫管理軟件的獲取存儲管理，以及分析能力的數據集稱為大數據。 高德納咨詢公司(Gartner)則將大數據歸納為需要新處理模式才能增強決策力、洞察發現力和流程優化能力的海量高增長率和多樣化的信息資產。 徐宗本院士在第462次香山科學會議的報告中，將大數據定義為不能夠集中存儲并且難以在可接受時間內分析處理，其中個體或部分數據呈現低價值性而數據整體呈現高價值的海量復雜數據集。 復旦大學朱揚勇教授提出，大數據本質上是數據交叉、方法交叉、知識交叉、領域交叉、學科交叉，從而產生新的科學研究方法、新的管理決策方法、新的經濟增長方式、新的社會發展方式等。 雖說這些關于大數據定義的方式、角度及側重點不同，但是所傳遞的信息基本一致，即大數據歸根結底是一種數據集，其特性是通過與傳統的數據管理及處理技術對比來凸顯，并且在不同需求下，其要求的時間處理范圍具有差異性，*重要的一點是大數據的價值并非來自數據本身，而是來自大數據所反映的“大決策”“大知識”“大問題”等。 從宏觀世界角度來看，大數據則是融合物理世界、信息空間和人類社會三元世界的紐帶，因為物理世界通過互聯網、物聯網等技術有了在信息空間中的大數據反映，而人類社會則借助人機界面、腦機界面、移動互聯等手段在信息空間中產生自己的大數據映像。從信息產業角度來講，大數據還是新一代信息技術產業的強勁推動力。所謂新一代信息技術產業，本質上是構建在第三代平臺上的信息產業，主要是指云計算、大數據、物聯網、移動互聯網(社交網絡)等。 2. 大數據產生的原因 “大數據”并不是一個憑空出現的概念，其出現對應了數據產生方式的變革，生產力決定生產關系的道理對于技術領域仍然是有效的，正是由于技術發展到了一定的階段才導致海量數據被源源不斷地生產出來，并使當前的技術面臨重大挑戰。歸納起來大數據出現的原因有以下幾點。 1) 數據生產方式變得自動化 數據的生產方式經歷了從結繩計數到現在的完全自動化，人類的數據生產能力已不可同日而語。物聯網技術、智能城市、工業控制技術的廣泛應用使數據的生產完全實現了自動化，自動數據生產必然會產生大量的數據。甚至當前人們所使用的絕大多數數字設備都可以被認為是一個自動化的數據生產設備： 我們的手機會不斷與數據中心進行聯系，通話記錄、位置記錄、費用記錄都會被服務器記錄下來； 我們用計算機訪問網頁時訪問歷史、訪問習慣也會被服務器記錄并分析； 我們生活的城市、小區遍布的傳感器、攝像頭會不斷產生數據并保證我們的安全； 天上的衛星、地面的雷達、空中的飛機也都在不斷地自動產生著數據。 2) 數據生產融入每個人的日常生活 在計算機出現的早期，數據的產生往往只是由專業的人員來完成的，能夠有機會使用計算機的人員通常都是因為工作的需要，物理學家、數學家是*早使用計算機的人員。隨著計算機技術的高速發展，計算機得到迅速普及，特別是手機和移動互聯網的出現使數據的生產和每個人的日常生活結合起來，每個人都成為數據的生產者： 當你發出一條微博時，你在生產數據； 當你拍出一張照片時，你在生產數據； 當你使用手中的市民卡和銀行卡時，你在生產數據； 當你在QQ上聊天時，你在生產數據； 當你在用微信發朋友圈或聊天時，你在生產數據； 當你在玩游戲時，你在生產數據。數據的生產已完全融入人們的生活： 在地鐵上，你在生產數據； 在工作單位，你在生產數據； 在家里，你也在生產數據。個人數據的生產呈現出隨時、隨地、移動化的趨勢，我們的生活已經是數字化的生活。 3) 圖像、音頻和視頻數據所占比例越來越大 人類在過去幾千年主要靠文字記錄信息，隨著技術的發展，人類越來越多地采用視頻、圖像和音頻這類占用空間更大、更形象的手段來記錄和傳播信息。從前聊天用文字，現在用微信和視頻，人們越來越習慣利用多媒體方式進行交流。城市中的攝像頭每天都會產生大量視頻數據，由于技術的進步，圖像和視頻的分辨率變得越來越高，數據變得越來越大。 4) 網絡技術的發展為數據的生產提供了極大的方便 前面說到的幾個大數據產生原因還缺乏一個重要的引子： 網絡。網絡技術的高速發展是大數據出現的重要催化劑： 沒有網絡的發展就沒有移動互聯網，我們就不能隨時隨地實現數據生產； 沒有網絡的發展就不可能實現大數據視頻數據的傳輸和存儲； 沒有網絡的發展就不會有現在大量數據的自動化生產和傳輸。網絡的發展催生了云計算等網絡化應用的出現，使數據的生產觸角延伸到網絡的各個終端，使任何終端所產生的數據能快速有效地被傳輸并存儲。很難想象在一個網絡條件很差的環境下能出現大數據，可以這么認為： 大數據的出現依賴于集成電路技術和網絡技術的發展，集成電路為大數據的生產和處理提供了計算能力的基礎，網絡技術為大數據的傳輸提供了可能。 5) 云計算概念的出現進一步促進了大數據的發展 云計算這一概念是在2008年前后進入我國的，*早可以追溯到1960年人工智能之父麥卡錫所預言的“今后計算機將會作為公共設施提供給公眾”。2012年3月，在國務院政府工作報告中，云計算被作為附錄給出了一個官方的解釋，表達了政府對云計算產業的重視。在政府工作報告中云計算的定義是這樣的： “云計算是基于互聯網的服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。是傳統計算機和網絡技術發展融合的產物，它意味著計算能力也可作為一種商品通過互聯網進行流通。”云計算的出現使計算和服務都可以通過網絡向用戶交付，而用戶的數據也可以方便地利用網絡傳遞，云計算這一模式網絡的作用被進一步凸顯出來，數據的生產、處理和傳輸可以利用網絡快速地進行，改變傳統的數據生產模式，這一變化大大加快了數據的產生速度，對大數據的出現起到了至關重要的作用。 3. 大數據的特征 大數據的“大”是一個動態的概念，以前10GB的數據就是天文數字，而現在，在地球、物理、基因、空間科學等領域，TB級的數據集已經很普遍。大數據具備以下五個維度的特征(如圖51所示)。 圖51大數據的特征 (1) 大體量(Volume)。需要采集、處理、傳輸的數據容量大，數據量可從數百TB到數百PB甚至EB的規模。 (2) 多樣化(Variety)。大數據所處理的數據類型早已不是單一的文本數據或者結構化的數據庫中的表，而是包括各種格式和形態的數據，數據結構種類多，復雜度高。 (3) 時效性(Velocity)。很多大數據需要在一定時間限度下得到及時處理，處理數據的效率決定企業的生命。 (4) 準確性(Veracity)。大數據處理的結果要保證一定的準確性。 (5) 價值(Value)。大數據包含很多深度的價值，通過強大的機器學習和高級分析對數據進行“提純”，能夠帶來巨大商業價值。 5.1.3典型大數據應用實例 1. 從谷歌流感趨勢看大數據的應用價值 谷歌有一個名為“谷歌流感趨勢”的工具，它通過跟蹤搜索詞相關數據來判斷全美地區的流感情況(比如患者會搜索“流感”兩個字)。如果這個工具發出警告，表明全美的流感已經進入“緊張”級別。它對于健康服務產業和流行病學專家來說是非常有用的，因為它的時效性極強，能夠很好地對疾病暴發進行跟蹤和處理。事實也證明，通過海量搜索詞的跟蹤獲得的趨勢報告是很有說服力的，例如，僅波士頓地區就有700例流感得到確認，該地區已宣布進入公共健康緊急狀態。 這個工具工作的原理大致是這樣的： 設計人員置入了一些關鍵詞(比如溫度計、流感癥狀、肌肉疼痛、胸悶等)，只要用戶輸入這些關鍵詞，系統就會展開跟蹤分析，創建地區流感圖表和流感地圖。谷歌多次把測試結果與美國疾病控制和預防中心的報告做比對，從圖52可知，兩者結論存在很大相關性。 圖52谷歌把測試結果與美國疾病控制和預防中心的報告做比對