掃一掃
關(guān)注中圖網(wǎng)
官方微博
包郵 面向精準(zhǔn)醫(yī)療的多源異構(gòu)數(shù)據(jù)采集與融合技術(shù)研究
作者：黃偉紅等
開本：
16開
頁數(shù)：
159
本類榜單：醫(yī)學(xué)銷量榜
本類五星書更多>
-
>
中醫(yī)入門必背歌訣
-
>
醫(yī)驗集要
-
>
尋回中醫(yī)失落的元神2:象之篇
-
>
補遺雷公炮制便覽 (一函2冊)
-
>
人體解剖學(xué)常用詞圖解(精裝)
-
>
神醫(yī)華佗(奇方妙治)
-
>
(精)河南古代醫(yī)家經(jīng)驗輯
面向精準(zhǔn)醫(yī)療的多源異構(gòu)數(shù)據(jù)采集與融合技術(shù)研究 版權(quán)信息
- ISBN：9787030672711
- 條形碼：9787030672711 ; 978-7-03-067271-1
- 裝幀：一般膠版紙
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
面向精準(zhǔn)醫(yī)療的多源異構(gòu)數(shù)據(jù)采集與融合技術(shù)研究 內(nèi)容簡介
本書圍繞精準(zhǔn)醫(yī)療大數(shù)據(jù)平臺建設(shè)，利用分布式存儲和Hadoop技術(shù)，從數(shù)據(jù)采集、集成、存儲、標(biāo)準(zhǔn)、融合等方面介紹其技術(shù)原理及實現(xiàn)路徑，并對關(guān)鍵技術(shù)難點進行論述，提出了精準(zhǔn)醫(yī)療大數(shù)據(jù)平臺的解決方案，對數(shù)據(jù)應(yīng)用場景和價值進行分析拓展。 本書既適用于健康醫(yī)療大數(shù)據(jù)、精準(zhǔn)醫(yī)療及醫(yī)療信息化行業(yè)從業(yè)人員，也可供高等院校大數(shù)據(jù)、計算機、醫(yī)學(xué)統(tǒng)計、人工智能等專業(yè)的本科生和研究生參考。
面向精準(zhǔn)醫(yī)療的多源異構(gòu)數(shù)據(jù)采集與融合技術(shù)研究 目錄
目錄
1 精準(zhǔn)醫(yī)療大數(shù)據(jù)概述 1
1.1 大數(shù)據(jù)的基本概念、特點、發(fā)展階段、基本流程、應(yīng)用領(lǐng)域及未來發(fā)展趨勢 1
1.2 精準(zhǔn)醫(yī)療大數(shù)據(jù)的定義 15
1.3 精準(zhǔn)醫(yī)療大數(shù)據(jù)的分類 16
1.4 精準(zhǔn)醫(yī)療大數(shù)據(jù)的標(biāo)準(zhǔn) 19
1.5 精準(zhǔn)醫(yī)療大數(shù)據(jù)的生命周期 22
參考文獻 23
2 精準(zhǔn)醫(yī)療大數(shù)據(jù)之?dāng)?shù)據(jù)采集 25
2.1 數(shù)據(jù)采集概述 25
2.2 大數(shù)據(jù)采集的技術(shù)方法 28
2.3 數(shù)據(jù)脫敏 35
2.4 數(shù)據(jù)清洗 38
2.5 數(shù)據(jù)質(zhì)量管理 40
參考文獻 45
3 精準(zhǔn)醫(yī)療大數(shù)據(jù)之?dāng)?shù)據(jù)集成 47
3.1 數(shù)據(jù)集成技術(shù) 47
3.2 實體識別 49
3.3 主索引技術(shù)EMPI 53
3.4 數(shù)據(jù)集成的實現(xiàn) 58
參考文獻 68
4 精準(zhǔn)醫(yī)療大數(shù)據(jù)之?dāng)?shù)據(jù)存儲 69
4.1 數(shù)據(jù)存儲技術(shù) 69
4.2 大數(shù)據(jù)存儲的關(guān)鍵技術(shù)分析 74
4.3 分布式存儲系統(tǒng) 86
4.4 主要數(shù)據(jù)庫存儲技術(shù) 91
4.5 不同數(shù)據(jù)存儲方法的選擇 95
參考文獻 97
5 精準(zhǔn)醫(yī)療大數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)規(guī)范 98
5.1 基礎(chǔ)類標(biāo)準(zhǔn)規(guī)范 98
5.2 技術(shù)類標(biāo)準(zhǔn)規(guī)范 100
5.3 管理類標(biāo)準(zhǔn)規(guī)范 101
5.4 安全類標(biāo)準(zhǔn)規(guī)范 102
6 精準(zhǔn)醫(yī)療大數(shù)據(jù)數(shù)據(jù)采集融合平臺 105
6.1 數(shù)據(jù)ETL處理基本工具 105
6.2 數(shù)據(jù)采集融合常用數(shù)據(jù)庫 109
6.3 Hadoop大數(shù)據(jù)平臺 115
6.4 借助醫(yī)院CDR進行數(shù)據(jù)采集融合 118
6.5 精準(zhǔn)醫(yī)療大數(shù)據(jù)數(shù)據(jù)采集融合平臺的發(fā)展歷程及未來趨勢 118
參考文獻 121
7 精準(zhǔn)醫(yī)療大數(shù)據(jù)應(yīng)用 123
7.1 臨床大數(shù)據(jù)應(yīng)用 123
7.2 藥學(xué)大數(shù)據(jù)應(yīng)用 139
7.3 多組學(xué)大數(shù)據(jù)應(yīng)用 143
7.4 健康大數(shù)據(jù)應(yīng)用 149
7.5 區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用 151
7.6 醫(yī)藥衛(wèi)生行政管理 157
參考文獻 159
1 精準(zhǔn)醫(yī)療大數(shù)據(jù)概述 1
1.1 大數(shù)據(jù)的基本概念、特點、發(fā)展階段、基本流程、應(yīng)用領(lǐng)域及未來發(fā)展趨勢 1
1.2 精準(zhǔn)醫(yī)療大數(shù)據(jù)的定義 15
1.3 精準(zhǔn)醫(yī)療大數(shù)據(jù)的分類 16
1.4 精準(zhǔn)醫(yī)療大數(shù)據(jù)的標(biāo)準(zhǔn) 19
1.5 精準(zhǔn)醫(yī)療大數(shù)據(jù)的生命周期 22
參考文獻 23
2 精準(zhǔn)醫(yī)療大數(shù)據(jù)之?dāng)?shù)據(jù)采集 25
2.1 數(shù)據(jù)采集概述 25
2.2 大數(shù)據(jù)采集的技術(shù)方法 28
2.3 數(shù)據(jù)脫敏 35
2.4 數(shù)據(jù)清洗 38
2.5 數(shù)據(jù)質(zhì)量管理 40
參考文獻 45
3 精準(zhǔn)醫(yī)療大數(shù)據(jù)之?dāng)?shù)據(jù)集成 47
3.1 數(shù)據(jù)集成技術(shù) 47
3.2 實體識別 49
3.3 主索引技術(shù)EMPI 53
3.4 數(shù)據(jù)集成的實現(xiàn) 58
參考文獻 68
4 精準(zhǔn)醫(yī)療大數(shù)據(jù)之?dāng)?shù)據(jù)存儲 69
4.1 數(shù)據(jù)存儲技術(shù) 69
4.2 大數(shù)據(jù)存儲的關(guān)鍵技術(shù)分析 74
4.3 分布式存儲系統(tǒng) 86
4.4 主要數(shù)據(jù)庫存儲技術(shù) 91
4.5 不同數(shù)據(jù)存儲方法的選擇 95
參考文獻 97
5 精準(zhǔn)醫(yī)療大數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)規(guī)范 98
5.1 基礎(chǔ)類標(biāo)準(zhǔn)規(guī)范 98
5.2 技術(shù)類標(biāo)準(zhǔn)規(guī)范 100
5.3 管理類標(biāo)準(zhǔn)規(guī)范 101
5.4 安全類標(biāo)準(zhǔn)規(guī)范 102
6 精準(zhǔn)醫(yī)療大數(shù)據(jù)數(shù)據(jù)采集融合平臺 105
6.1 數(shù)據(jù)ETL處理基本工具 105
6.2 數(shù)據(jù)采集融合常用數(shù)據(jù)庫 109
6.3 Hadoop大數(shù)據(jù)平臺 115
6.4 借助醫(yī)院CDR進行數(shù)據(jù)采集融合 118
6.5 精準(zhǔn)醫(yī)療大數(shù)據(jù)數(shù)據(jù)采集融合平臺的發(fā)展歷程及未來趨勢 118
參考文獻 121
7 精準(zhǔn)醫(yī)療大數(shù)據(jù)應(yīng)用 123
7.1 臨床大數(shù)據(jù)應(yīng)用 123
7.2 藥學(xué)大數(shù)據(jù)應(yīng)用 139
7.3 多組學(xué)大數(shù)據(jù)應(yīng)用 143
7.4 健康大數(shù)據(jù)應(yīng)用 149
7.5 區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用 151
7.6 醫(yī)藥衛(wèi)生行政管理 157
參考文獻 159
展開全部
面向精準(zhǔn)醫(yī)療的多源異構(gòu)數(shù)據(jù)采集與融合技術(shù)研究 節(jié)選
1 精準(zhǔn)醫(yī)療大數(shù)據(jù)概述 1.1 大數(shù)據(jù)的基本概念、特點、發(fā)展階段、基本流程、應(yīng)用領(lǐng)域及未來發(fā)展趨勢 1.1.1 基本概念及特點 近年來，“大數(shù)據(jù)”一詞已成為高頻網(wǎng)紅詞匯，大數(shù)據(jù)技術(shù)已不知不覺深入到人們生活的方方面面。我們閱讀、出行、購物、旅游、看病、工作，每時每刻都在源源不斷地產(chǎn)生新數(shù)據(jù)，構(gòu)建著一幢幢“數(shù)字大廈”。數(shù)字經(jīng)濟快速發(fā)展，數(shù)據(jù)成為新的生產(chǎn)要素，推動社會進步。 大數(shù)據(jù)是什么？麥肯錫全球研究院給出的定義：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。 國際數(shù)據(jù)公司（IDC）從大數(shù)據(jù)的四個特征來定義，即海量的數(shù)據(jù)規(guī)模（Volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系（Velocity）、多樣的數(shù)據(jù)類型（Variety）、巨大的數(shù)據(jù)價值（Value）。 亞馬遜大數(shù)據(jù)科學(xué)家給出了一個簡單的定義：大數(shù)據(jù)是任何超過了一臺計算機處理能力的數(shù)據(jù)量。 根據(jù)Gartner的定義，大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。 通過以上幾個定義可看出，大數(shù)據(jù)概念較為寬泛，但其特點總結(jié)為“數(shù)據(jù)大”“價值高”。而大數(shù)據(jù)的價值不在于龐大的數(shù)據(jù)本身，而在于挖掘、分析數(shù)據(jù)背后蘊含的價值。唯有經(jīng)過加工、“去粗取精”后產(chǎn)生價值的數(shù)據(jù)方可成為數(shù)據(jù)資產(chǎn)，實現(xiàn)數(shù)據(jù)“增值”。大數(shù)據(jù)應(yīng)用是個綜合性系統(tǒng)工程，唯有將業(yè)務(wù)需求、數(shù)據(jù)思維、挖掘分析三者結(jié)合起來，才能對其有較為全面的認(rèn)識。 大數(shù)據(jù)一般具有5V特點，詳見圖1-1。 圖1-1 大數(shù)據(jù)5V特點 數(shù)量（Volume）：即數(shù)據(jù)量大，包括采集、存儲和計算的量都非常大。大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。 種類（Variety）：種類和來源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、物聯(lián)網(wǎng)數(shù)據(jù)、地理位置信息等，多類型的數(shù)據(jù)對處理挖掘技術(shù)提出了更高的要求。此外，非結(jié)構(gòu)化數(shù)據(jù)規(guī)模巨大、增長較快，占數(shù)據(jù)總量的80%～90%，增長速度比結(jié)構(gòu)化數(shù)據(jù)快10～50倍。 價值（Value）：數(shù)據(jù)價值密度。海量信息每天不斷產(chǎn)生，但價值密度較低，如何根據(jù)實際業(yè)務(wù)需求，通過強大的機器算法來挖掘數(shù)據(jù)價值，分析數(shù)據(jù)之間的相關(guān)性，進行未來趨勢與模式預(yù)測，是大數(shù)據(jù)時代*需要解決的問題。 速度（Velocity）：數(shù)據(jù)增長、處理快速化，時效性要求高。如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到，個性化推薦算法要求盡可能實時完成推薦。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。實時分析而非批量式分析，數(shù)據(jù)輸入、處理與丟棄，立竿見影而非事后見效。 真實性（Veracity）：數(shù)據(jù)的準(zhǔn)確性和可信賴度，即數(shù)據(jù)的質(zhì)量。大數(shù)據(jù)所承載的內(nèi)容是與真實世界中發(fā)生的事件息息相關(guān)的，源頭數(shù)據(jù)真實性決定了分析、解釋、預(yù)測事件的可信程度。 1.1.2 發(fā)展階段 大數(shù)據(jù)的概念*早是在2008年由Nature雜志提出，隨著技術(shù)的不斷迭代突破，目前已廣泛成熟應(yīng)用于各領(lǐng)域，其發(fā)展階段如表1-1所示。 表1-1 大數(shù)據(jù)發(fā)展階段 萌芽期：20世紀(jì)90年代到21世紀(jì)初，隨著數(shù)據(jù)庫技術(shù)和數(shù)據(jù)挖掘理論的成熟，數(shù)據(jù)倉庫、專家系統(tǒng)等軟件開始被廣泛使用。 成熟期：21世紀(jì)前十年，非結(jié)構(gòu)化數(shù)據(jù)開始大量涌現(xiàn)，傳統(tǒng)的數(shù)據(jù)庫處理方法難以應(yīng)對，也稱非結(jié)構(gòu)化數(shù)據(jù)階段。2006～2009年，谷歌公開發(fā)表《谷歌文件系統(tǒng)》和《基于集群的簡單數(shù)據(jù)處理：MapReduce》兩篇文章，其核心技術(shù)包括分布式文件系統(tǒng)（GFS）、分布式計算系統(tǒng)框架（MapReduce）、分布式鎖（Chubby）及分布式數(shù)據(jù)庫（BigTable），這期間大數(shù)據(jù)研究的焦點是性能、云計算、大規(guī)模的數(shù)據(jù)集并行運算算法，以及開源分布式架構(gòu)（Hadoop）。 大規(guī)模應(yīng)用期：2010年以后，大數(shù)據(jù)基礎(chǔ)技術(shù)成熟之后，學(xué)術(shù)界及企業(yè)界紛紛開始轉(zhuǎn)向應(yīng)用研究，2013年大數(shù)據(jù)技術(shù)開始向商業(yè)、科技、醫(yī)療、政府、教育、經(jīng)濟、交通、物流等社會的各個領(lǐng)域滲透，因此2013年也被稱為大數(shù)據(jù)元年。 據(jù)IDC統(tǒng)計，2010年全球產(chǎn)生的數(shù)據(jù)量僅為2ZB，預(yù)計到2025年全球每年產(chǎn)生的數(shù)據(jù)量將高達175ZB，相當(dāng)于每天產(chǎn)生491EB的數(shù)據(jù)；就增長率而言，近幾年數(shù)據(jù)量的增長率都穩(wěn)定在20%以上，預(yù)計2025年增長率將超過30%。相比于全球，中國的數(shù)據(jù)要素規(guī)模擴張更為迅速，以30%的年均增速領(lǐng)先全球，比全球平均增速高3%，預(yù)計到2025年，中國的數(shù)據(jù)量將增長至48.6ZB，將占全球數(shù)據(jù)量的27.8%，成為世界上*大的數(shù)據(jù)圈。 近年來，我國大數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展，融合應(yīng)用不斷深化，數(shù)字經(jīng)濟量質(zhì)齊升，對經(jīng)濟社會的創(chuàng)新驅(qū)動、融合帶動作用顯著增強。大數(shù)據(jù)繁榮發(fā)展的背后離不開國家的重視與努力，我國先后出臺多項大數(shù)據(jù)政策，并在2016年將大數(shù)據(jù)上升為國家戰(zhàn)略。各地陸續(xù)出臺促進大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的規(guī)劃、行動計劃和指導(dǎo)意見等文件。目前，我國各地推進大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的設(shè)計已經(jīng)基本完成，陸續(xù)進入了落實階段。 2019年10月，黨的十九屆四中全會通過的《中共中央關(guān)于堅持和完善中國特色社會主義制度 推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》，首次將數(shù)據(jù)增列為生產(chǎn)要素，要求建立健全由市場評價貢獻、按貢獻決定報酬的機制。 2020年4月9日，中共中央、國務(wù)院發(fā)布《關(guān)于構(gòu)建更加完善的要素市場化配置體制機制的意見》，將數(shù)據(jù)與土地、勞動力、資本、技術(shù)并列為五大生產(chǎn)要素，提出要加快培育數(shù)據(jù)要素市場。 在大數(shù)據(jù)政策的鼓勵號召下，我國大數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域持續(xù)創(chuàng)新，大數(shù)據(jù)技術(shù)產(chǎn)品不斷提升，行業(yè)應(yīng)用加速發(fā)展，數(shù)據(jù)逐步實現(xiàn)安全開放共享，數(shù)據(jù)資產(chǎn)化步伐穩(wěn)步前進。 1.1.3 大數(shù)據(jù)處理基本流程 大數(shù)據(jù)處理基本流程可以概括為四步，分別是數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘與分析及數(shù)據(jù)應(yīng)用。 （1）數(shù)據(jù)采集 大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫進行簡單的查詢和處理工作。例如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務(wù)數(shù)據(jù)，除此之外，像Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。 在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時可能會有成千上萬的用戶進行訪問和操作，并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐，并且如何在這些數(shù)據(jù)庫之間進行負(fù)載均衡和分片的確需要深入思考和設(shè)計。 對精準(zhǔn)醫(yī)療多源異構(gòu)大數(shù)據(jù)而言，精準(zhǔn)醫(yī)療數(shù)據(jù)的來源和類型廣泛，生物樣本數(shù)據(jù)可以通過區(qū)域醫(yī)療健康協(xié)同中心、社區(qū)醫(yī)療中心、基層醫(yī)療中心、精準(zhǔn)醫(yī)療示范基地、精準(zhǔn)醫(yī)療實驗室和健康移動終端等途徑獲取，數(shù)據(jù)類型也多種多樣，包括臨床數(shù)據(jù)、基因數(shù)據(jù)、健康數(shù)據(jù)、環(huán)境數(shù)據(jù)等。因此，需要通過對各種數(shù)據(jù)的采集治理進行多源異構(gòu)數(shù)據(jù)的融合。此外，在醫(yī)療這個領(lǐng)域，國內(nèi)的三甲醫(yī)院中各家醫(yī)院系統(tǒng)都是不同廠商系統(tǒng)的結(jié)合，而這些廠商并沒有很好地互聯(lián)互通，如果沒有一些基礎(chǔ)的工程性工作，落地應(yīng)用實現(xiàn)本身是不容易的，因此數(shù)據(jù)采集起著重要作用。 （2）數(shù)據(jù)預(yù)處理 大數(shù)據(jù)采集過程中通常有一個或多個數(shù)據(jù)源，這些數(shù)據(jù)源包括同構(gòu)或異構(gòu)的數(shù)據(jù)庫、文件系統(tǒng)、服務(wù)接口等，易受到噪聲數(shù)據(jù)、數(shù)據(jù)值缺失、數(shù)據(jù)沖突等影響，因此需首先對收集到的大數(shù)據(jù)集合進行數(shù)據(jù)治理，以保證大數(shù)據(jù)分析與預(yù)測結(jié)果的準(zhǔn)確性與價值性。大數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)歸約與數(shù)據(jù)轉(zhuǎn)換等環(huán)節(jié)，可以大大提高大數(shù)據(jù)的總體質(zhì)量，是大數(shù)據(jù)治理過程質(zhì)量的體現(xiàn)。 數(shù)據(jù)預(yù)處理技術(shù)包括對數(shù)據(jù)的不一致檢測、噪聲數(shù)據(jù)的識別、數(shù)據(jù)過濾與修正等方面，有利于提高大數(shù)據(jù)的一致性、準(zhǔn)確性、真實性和可用性等方面的質(zhì)量；數(shù)據(jù)集成則是將多個數(shù)據(jù)源的數(shù)據(jù)進行集成，從而形成集中、統(tǒng)一的數(shù)據(jù)庫、數(shù)據(jù)立方體等，這一過程有利于提高大數(shù)據(jù)的完整性、一致性、安全性和可用性等方面質(zhì)量；數(shù)據(jù)歸約是在不損害分析結(jié)果準(zhǔn)確性的前提下降低數(shù)據(jù)集規(guī)模，使之簡化，包括維歸約、數(shù)據(jù)歸約、數(shù)據(jù)抽樣等技術(shù)，這一過程有利于提高大數(shù)據(jù)的價值密度，即提高大數(shù)據(jù)存儲的價值性。數(shù)據(jù)轉(zhuǎn)換處理包括基于規(guī)則或元數(shù)據(jù)的轉(zhuǎn)換、基于模型與學(xué)習(xí)的轉(zhuǎn)換等技術(shù)，可通過轉(zhuǎn)換實現(xiàn)數(shù)據(jù)統(tǒng)一，這一過程有利于提高大數(shù)據(jù)的一致性和可用性。 總之，數(shù)據(jù)預(yù)處理環(huán)節(jié)有利于提高大數(shù)據(jù)的一致性、準(zhǔn)確性、真實性、可用性、完整性、安全性和價值性等方面質(zhì)量，而大數(shù)據(jù)預(yù)處理中的相關(guān)技術(shù)是影響大數(shù)據(jù)過程質(zhì)量的關(guān)鍵因素。 在醫(yī)療領(lǐng)域，醫(yī)療信息化已經(jīng)滿足基本應(yīng)用，但很多醫(yī)院醫(yī)療信息化之后產(chǎn)出的數(shù)據(jù)，質(zhì)量其實還達不到今天的實際需求，數(shù)據(jù)質(zhì)量嚴(yán)重影響后期分析。因此，需要花費很大的精力建立一種基于邏輯的醫(yī)學(xué)常識的知識庫，通過知識庫排查數(shù)據(jù)質(zhì)量問題，進行預(yù)處理。 （3）數(shù)據(jù)挖掘與分析 數(shù)據(jù)挖掘是通過分析每個數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示三個步驟。數(shù)據(jù)準(zhǔn)備是從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用于數(shù)據(jù)挖掘的數(shù)據(jù)集；規(guī)律尋找是用某種方法將數(shù)據(jù)集所含的規(guī)律找出來；規(guī)律表示是盡可能以用戶可理解的方式（如可視化）將找出的規(guī)律表示出來。數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。數(shù)據(jù)分析是大數(shù)據(jù)處理與應(yīng)用的關(guān)鍵環(huán)節(jié)，它決定了大數(shù)據(jù)集合的價值性和可用性，以及分析預(yù)測結(jié)果的準(zhǔn)確性。在數(shù)據(jù)分析環(huán)節(jié)，應(yīng)根據(jù)大數(shù)據(jù)應(yīng)用情境與決策需求，選擇合適的數(shù)據(jù)分析技術(shù)，提高大數(shù)據(jù)分析結(jié)果的可用性、價值性和準(zhǔn)確性質(zhì)量。 機器學(xué)習(xí)和數(shù)據(jù)挖掘是緊密相關(guān)的，進行數(shù)據(jù)挖掘需要掌握一些機器學(xué)習(xí)所用的方法和模型知識，通過模型的訓(xùn)練可以得到處理數(shù)據(jù)的*優(yōu)模型。數(shù)據(jù)挖掘常用的模型如下： 1）監(jiān)督學(xué)習(xí)模型：通過已有的訓(xùn)練樣本（即已知數(shù)據(jù)及其對應(yīng)的輸出）去訓(xùn)練得到一個*優(yōu)模型（這個模型屬于某個函數(shù)的集合，*優(yōu)則表示在某個評價準(zhǔn)則下是*佳的），再利用這個模型將所有的輸入映射為相應(yīng)的輸出，對輸出進行簡單的判斷，從而實現(xiàn)分類的目的，也就具有了對未知數(shù)據(jù)進行分類的能力。該類模型包括決策樹、貝葉斯方法、神經(jīng)網(wǎng)絡(luò)、支持向量機（support vector machine，SVM）、集成學(xué)習(xí)分類模型等。 2）無監(jiān)督學(xué)習(xí)模型：在非監(jiān)督式學(xué)習(xí)中，數(shù)據(jù)并不被特別標(biāo)識，學(xué)習(xí)模型是為了推斷出數(shù)據(jù)的一些內(nèi)在結(jié)構(gòu)，應(yīng)用場景包括關(guān)聯(lián)規(guī)則的學(xué)習(xí)及聚類等。常見的聚類算法包括k均值聚類、基于密度的聚類、層次聚類方法、譜聚類等。 3）半監(jiān)督學(xué)習(xí)模型：在此學(xué)習(xí)方式下，輸入數(shù)據(jù)部分被標(biāo)識、部分沒有被標(biāo)識，這種學(xué)習(xí)模型可以用來進行預(yù)測，但是模型首先需要學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)以便合理地組織數(shù)據(jù)來進行預(yù)測。應(yīng)用場景包括分類和回歸，算法包括一些對常用監(jiān)督式學(xué)習(xí)算法的延伸，這些算法首先試圖對未標(biāo)識數(shù)據(jù)進行建模，在此基礎(chǔ)上再對標(biāo)識的數(shù)據(jù)進行預(yù)測，如圖論推理算法（graph inference）或者拉普拉斯支持向量機（Laplacian SVM）等。 在醫(yī)療行業(yè)，完成數(shù)據(jù)集成、治理，數(shù)據(jù)質(zhì)量得到提升后仍需要大量的自然語言處理、機器視覺、基因分級等技術(shù)挖掘分析，深入解析數(shù)據(jù)隱藏層面的價值。
書友推薦
- >
有舍有得是人生
- >
李白與唐代文化
- >
月亮與六便士
- >
隨園食單
- >
中國人在烏蘇里邊疆區(qū):歷史與人類學(xué)概述
- >
經(jīng)典常談
- >
詩經(jīng)-先民的歌唱
- >
史學(xué)評論
本類暢銷
