中图网(原中国图书网):网上书店,尾货特色书店,30万种特价书低至2折!

歡迎光臨中圖網(wǎng) 請 | 注冊
> >
Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用

包郵 Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用

作者:王傳東
出版社:電子工業(yè)出版社出版時間:2020-03-01
開本: 26cm 頁數(shù): 10,238頁
本類榜單:教材銷量榜
中 圖 價:¥26.3(5.7折) 定價  ¥46.0 登錄后可看到會員價
加入購物車 收藏
開年大促, 全場包郵
?新疆、西藏除外
本類五星書更多>

Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用 版權(quán)信息

  • ISBN:9787121380822
  • 條形碼:9787121380822 ; 978-7-121-38082-2
  • 裝幀:一般膠版紙
  • 冊數(shù):暫無
  • 重量:暫無
  • 所屬分類:>

Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用 本書特色

大數(shù)據(jù)產(chǎn)業(yè)是國家戰(zhàn)略性產(chǎn)業(yè),大數(shù)據(jù)應(yīng)用在全社會受到廣泛關(guān)注,而且大數(shù)據(jù)應(yīng)用越來越普遍,從手機信息推送到企業(yè)產(chǎn)品設(shè)計,從出行到疾病預(yù)防,都在利用大數(shù)據(jù)。大數(shù)據(jù)應(yīng)用技術(shù)專業(yè)在高職院校和應(yīng)用型本科院校受到普遍重視和歡迎,創(chuàng)建該專業(yè)的院校越來越多,它已成為信息技術(shù)類專業(yè)□受推崇的專業(yè)之一。 Hadoop作為當下流行的大數(shù)據(jù)平臺技術(shù),無疑是大數(shù)據(jù)技術(shù)專業(yè)必修的核心課程。這是一門實踐性課程,必須通過上機操作完成課程任務(wù),以掌握該項技能。同時,由于Hadoop是一個開源軟件體系,涉及其生態(tài)的軟件較多,操作系統(tǒng)環(huán)境、軟件自身配置、軟件之間的聯(lián)系較復(fù)雜,對上機操作使用的軟硬件要求較高,制約了一些學(xué)校開展教學(xué)工作。為此,本人結(jié)合幾年來從事Hadoop大數(shù)據(jù)教學(xué)的體會編寫了本教材。 這是一本盡量體現(xiàn)課崗融合的教材。目前,Hadoop工程師是稀缺資源,人才需求會隨著企業(yè)大數(shù)據(jù)應(yīng)用的普及而增加。Hadoop的核心是MapReduce和分布式存儲處理,但MapReduce編程有短板,無法實現(xiàn)在線的流式處理,不過隨著Spark的發(fā)展應(yīng)用,Hadoop將在更多的數(shù)據(jù)管理中得到普及型應(yīng)用,實際工作中對Spark工程師的需求也會增加。因此,本教材加強了對Spark編程的介紹。 這是一本盡量兼顧課證融合的教材。針對一些著名企業(yè)大數(shù)據(jù)認證的知識要求,對上機實踐各環(huán)節(jié)的知識點盡量做了補充和說明,通過實踐操作可以加強對知識點的理解和掌握。 這是一本課賽融合的教材。目前全國大數(shù)據(jù)賽事較多,筆者也多有了解和參與,于是梳理各項大數(shù)據(jù)賽題對Hadoop技術(shù)的要求,從Hadoop偽分布式、真實環(huán)境下完全分布式和HA模式集群搭建配置,到Hive應(yīng)用和Spark編程等,均結(jié)合了各種賽事的標準要求。 本教材的□□~3章是安裝使用Hadoop的準備階段,包括Hadoop的一些概念、Linux常用命令介紹及虛擬機平臺的準備;第4~10章是偽分布式安裝模式下的Hadoop的基本操作和相關(guān)軟件的使用;□□1~13章是使用三臺真機組成一個實驗小組,搭建完全分布式Hadoop集群,實現(xiàn)了Zookeeper與Hive相互協(xié)作操作,可加深對分布式存儲與處理的理解;□□4章是HA模式Hadoop集群的實踐操作。前13章使用的虛擬操作系統(tǒng)為Ubuntu,□□4章使用的虛擬操作系統(tǒng)為CentOS。從單機偽分布式搭建應(yīng)用,到多機網(wǎng)絡(luò)協(xié)作組建完全分布式集群,再到HA模式集群搭建應(yīng)用,這樣的安排使一般院校的普通機房也能適應(yīng)課程的要求。 在學(xué)習(xí)本課程之前,應(yīng)具備Linux的基本操作知識;對Java編程有了解;掌握基本的Python編程技能;對數(shù)據(jù)庫及SQL語言有基本的理解和應(yīng)用能力;了解或掌握網(wǎng)絡(luò)配置。當然,即使對以上知識掌握不充分,也不會影響對本書的學(xué)習(xí),因為這幾乎是一本純粹的實踐教程。 完成教材的全部實驗任務(wù)后,在VMware中將會安裝6個Linux虛擬機,建議預(yù)備硬盤空間應(yīng)在150GB左右,計算機內(nèi)存應(yīng)不小于8GB。 本書由上海思博職業(yè)技術(shù)學(xué)院的王傳東、廣西經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院的盧澔、浙江經(jīng)濟職業(yè)技術(shù)學(xué)院的馬榮飛擔任主編,由上海電子信息職業(yè)技術(shù)學(xué)院的賈璐、浙江長征職業(yè)技術(shù)學(xué)院的劉雷霆、上海中僑職業(yè)技術(shù)學(xué)院的楊文娟擔任副主編。 為了方便教學(xué),本書配有電子教學(xué)課件及相關(guān)資源,請有此需要的教師登錄華信教育資源網(wǎng)(www.hxedu.com.cn)進行下載,如有問題可在網(wǎng)站留言板留言或與電子工業(yè)出版社聯(lián)系(E-mail:hxedu@phei.com.cn)。 教材建設(shè)是一項系統(tǒng)工程,需要在實踐中不斷完善。由于時間倉促、編者水平有限,書中難免存在疏漏和不足之處,敬請廣大讀者進行批評和指正。

Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用 內(nèi)容簡介

本書基于Hadoop大數(shù)據(jù)平臺, 講解大數(shù)據(jù)平臺的搭建與運維、大數(shù)據(jù)的采集與存儲、大數(shù)據(jù)的處理、數(shù)據(jù)的分析、數(shù)據(jù)的可視化等完整的大數(shù)據(jù)應(yīng)用案例, 全面詳細地講述Hadoop、MapReduee、HDFS、Hive、Spark和Zookeeper等技術(shù)的相關(guān)知識 ; 還詳細介紹了Hadoop大數(shù)據(jù)集群環(huán)境配置與搭建、部署配置Hadoop HA模式等內(nèi)容。

Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用 目錄

第1章 大數(shù)據(jù)與Hadoop平臺技術(shù) 1
1.1 大數(shù)據(jù)時代 1
1.2 大數(shù)據(jù)關(guān)鍵技術(shù) 2
1.3 大數(shù)據(jù)涉及的主要軟件 3
1.4 Hadoop平臺技術(shù)的生態(tài) 4
第2章 Ubuntu系統(tǒng)的安裝與使用 7
2.1 Linux系統(tǒng)簡介 7
2.2 Ubuntu系統(tǒng)安裝 8
2.2.1 下載虛擬機軟件VMware并安裝 8
2.2.2 在虛擬機中安裝Ubuntu系統(tǒng) 14
2.2.3 切換中英文輸入法 27
2.2.4 安裝VMware Tools 28
2.2.5 apt更新與更新源更換 30
2.2.6 安裝vim編輯器并使用 32
2.3 虛擬機聯(lián)網(wǎng)問題及其他 34
第3章 Linux基礎(chǔ)知識及相關(guān)軟件的基本使用 39
3.1 Linux基礎(chǔ)知識 39
3.1.1 Linux目錄結(jié)構(gòu) 39
3.1.2 Shell介紹 40
3.1.3 超級用戶――root用戶 41
3.1.4 sudo命令和su命令 41
3.1.5 創(chuàng)建與刪除普通用戶 42
3.1.6 目錄標記規(guī)則 43
3.1.7 目錄權(quán)限 43
3.1.8 安裝SSH 44
3.2 Linux常用軟件與命令 45
3.2.1 修改主機名 45
3.2.2 目錄操作 45
3.2.3 查看文件內(nèi)容和清屏 46
3.2.4 文件操作 46
3.2.5 文件解壓 47
3.2.6 進程與端口查看命令 48
3.2.7 系統(tǒng)管理命令 49
3.2.8 數(shù)據(jù)流重定向和管道的使用 50
3.2.9 其他使用技巧介紹 51
3.3 在Ubuntu中安裝Eclipse 51
3.3.1 通過軟件中心下載安裝Eclipse 51
3.3.2 在桌面創(chuàng)建Eclipse快捷方式 52
第4章 Hadoop的偽分布式安裝與使用 54
4.1 深入了解Hadoop 54
4.1.1 Hadoop發(fā)行版本介紹 54
4.1.2 Hadoop核心架構(gòu) 55
4.1.3 Hadoop的主要應(yīng)用場景 56
4.2 安裝Java環(huán)境 57
4.2.1 離線安裝 57
4.2.2 在線安裝 58
4.3 安裝Hadoop 59
4.3.1 下載Hadoop安裝文件并解壓 59
4.3.2 配置Hadoop環(huán)境變量 60
4.3.3 偽分布式模式配置 61
4.3.4 Hadoop無法正常啟動和使用的解決方法 63
第5章 HDFS 65
5.1 HDFS基本知識 65
5.1.1 DFS簡介 65
5.1.2 HDFS 65
5.1.3 HDFS存儲數(shù)據(jù) 66
5.2 Shell命令與HDFS交互操作 67
5.2.1 Hadoop Shell命令方式 67
5.2.2 目錄操作 68
5.2.3 文件操作 69
5.2.4 利用Web界面管理HDFS 70
5.3 Java編程與HDFS實現(xiàn)交互 71
5.3.1 在Eclipse中創(chuàng)建HDFS交互Java項目 71
5.3.2 在Java項目中編寫Java應(yīng)用程序代碼 75
5.3.3 編譯運行程序與打包 77
5.3.4 練習(xí)中使用的代碼文件 81
第6章 HBase偽分布部署與使用 85
6.1 HBase介紹 85
6.2 安裝HBase 86
6.3 偽分布HBase環(huán)境搭建 87
6.4 HBase Shell常用操作命令實踐 90
6.4.1 HBase表結(jié)構(gòu)舉例說明和常用的表操作命令 90
6.4.2 在HBase中創(chuàng)建表和刪除表 91
6.4.3 HBase數(shù)據(jù)庫基本操作 92
第7章 MapReduce原理與基礎(chǔ)編程 94
7.1 MapReduce介紹與基本原理 94
7.1.1 MapReduce在現(xiàn)實生活中的運用 94
7.1.2 通過案例拆解MapReduce的工作過程 95
7.1.3 MapReduce工作流程概括 98
7.2 MapReduce編程思路 98
7.3 MapReduce編程實例1:WordCount 99
7.4 MapReduce編程實例2:計算學(xué)生的平均成績 109
第8章 數(shù)據(jù)倉庫Hive偽分布式部署與使用 113
8.1 Hive的特點 113
8.2 Hive偽分布式部署 114
8.2.1 安裝配置Hive 114
8.2.2 安裝配置MySQL,連接Hive元數(shù)據(jù)庫 115
8.3 MySQL數(shù)據(jù)庫操作 118
8.3.1 常用命令介紹 118
8.3.2 無法登錄MySQL Shell的解決方法 120
第9章 數(shù)據(jù)分析與Hive數(shù)據(jù)庫操作 121
9.1 Hive操作命令介紹 121
9.2 HQL中的Case命令用法介紹 122
9.3 電商網(wǎng)站日志數(shù)據(jù)分析與達成目標 124
9.4 數(shù)據(jù)分析實現(xiàn) 126
9.4.1 將網(wǎng)站日志文件集加載到Hive中 126
9.4.2 統(tǒng)計分析網(wǎng)站日志數(shù)據(jù) 127
9.4.3 統(tǒng)計詞頻 131
第10章 Spark的安裝與基礎(chǔ)編程 133
10.1 Spark的安裝(Python版) 133
10.1.1 下載Spark安裝軟件 134
10.1.2 安裝與配置Spark 134
10.1.3 在PySpark中運行代碼 135
10.1.4 Spark獨立應(yīng)用程序編程示例 136
10.2 Spark的一些基本概念 137
10.3 RDD編程操作 137
10.3.1 RDD操作的兩種類型 137
10.3.2 創(chuàng)建RDD 139
10.3.3 創(chuàng)建鍵值對RDD 142
10.4 從RDD到DataFrame 145
10.4.1 Spark SQL和DataFrame 145
10.4.2 創(chuàng)建樣例數(shù)據(jù)文件 146
10.4.3 讀取json和csv文件生成DataFrame 147
10.4.4 普通文本文件生成DataFrame 148
10.5 Spark綜合編程與Python可視化 151
10.5.1 Spark綜合編程 151
10.5.2 Python可視化呈現(xiàn) 154
第11章 Hadoop集群環(huán)境搭建 160
11.1 克隆Linux虛擬機 160
11.2 橋接模式與NAT模式 163
11.2.1 橋接模式 163
11.2.2 NAT模式 164
11.3 VMware Workstation橋接網(wǎng)絡(luò)配置 164
11.3.1 集群網(wǎng)絡(luò)配置實現(xiàn)的目標 164
11.3.2 設(shè)置網(wǎng)絡(luò)橋接模式 165
11.3.3 驗證 169
11.4 大數(shù)據(jù)集群環(huán)境配置與搭建 170
11.4.1 修改主機名,并將主機名與IP地址建立映射 170
11.4.2 集群SSH免密登錄 171
11.4.3 時間同步 173
第12章 Zookeeper與集群Hadoop安裝應(yīng)用 174
12.1 Zookeeper介紹 174
12.1.1 Zookeeper的作用 174
12.1.2 Zookeeper選舉機制 175
12.2 安裝Zookeeper 175
12.2.1 為安裝Zookeeper的目錄賦權(quán) 175
12.2.2 下載、解壓Zookeeper安裝包 175
12.2.3 修改Zookeeper配置文件zoo.cfg 176
12.2.4 創(chuàng)建zkdata和zkdatalog文件夾 177
12.2.5 創(chuàng)建文件myid 177
12.2.6 配置環(huán)境變量 177
12.2.7 遠程復(fù)制分發(fā) 178
12.2.8 啟動Zookeeper集群 179
12.2.9 Zookeeper啟動錯誤及解決方法 179
12.3 在集群上安裝Hadoop 180
12.4 在集群上安裝HBase 185
第13章 構(gòu)建集群數(shù)據(jù)倉庫 189
13.1 在slave2節(jié)點上安裝MySQL Server 189
13.2 在slave1節(jié)點上安裝Hive服務(wù)器 191
13.3 將master節(jié)點作為Hive客戶端 194
13.4 啟動Hive 195
第14章 Hadoop從完全分布式到HA的安裝與使用 197
14.1 Hadoop HA 197
14.1.1 HDFS HA背景 197
14.1.2 HDFS HA架構(gòu) 197
14.2 安裝虛擬機系統(tǒng) 199
14.2.1 在VMware中創(chuàng)建虛擬機 199
14.2.2 安裝CentOS 7 206
14.2.3 設(shè)置網(wǎng)絡(luò)靜態(tài)IP地址 208
14.2.4 克隆3臺虛擬機 211
14.3 使用XShell 6登錄CentOS虛擬機 212
14.4 修改各節(jié)點主機名稱并配置SSH免密 215
14.4.1 修改各節(jié)點的虛擬機主機名 215
14.4.2 主機名與IP地址映射 215
14.4.3 SSH免密設(shè)置 216
14.5 安裝JDK 218
14.6 安裝并配置Zookeeper 219
14.6.1 安裝Zookeeper 220
14.6.2 啟動和停止Zookeeper 222
14.7 安裝并配置為完全分布式Hadoop集群 223
14.7.1 上傳、解壓文件并配置環(huán)境變量 223
14.7.2 將Hadoop配置為完全分布式集群 224
14.8 部署配置Hadoop HA模式 227
14.8.1 編輯Hadoop HA配置文件 227
14.8.2 分發(fā)文件 230
14.8.3 **次啟動HA 231
14.8.4 常規(guī)啟動HA 234
14.8.5 Hadoop HA部署完成之后的常規(guī)啟停順序 236
14.8.6 在HA集群上測試WordCount程序 236
展開全部

Hadoop大數(shù)據(jù)平臺構(gòu)建與應(yīng)用 作者簡介

王傳東,男,(1961.1―),教授,解放軍信息工程大學(xué)計算機工程專業(yè)畢業(yè),本科,2008.9―2017.9浙江長征職業(yè)技術(shù)學(xué)院計算機系研究員/教授,系統(tǒng)維護教研室主任、物聯(lián)網(wǎng)應(yīng)用技術(shù)教研室主任。2017.9―上海思博職業(yè)技術(shù)學(xué)院大數(shù)據(jù)專業(yè)帶頭人。

商品評論(0條)
暫無評論……
書友推薦
本類暢銷
編輯推薦
返回頂部
中圖網(wǎng)
在線客服
主站蜘蛛池模板: 气弹簧定制-气动杆-可控气弹簧-不锈钢阻尼器-工业气弹簧-可调节气弹簧厂家-常州巨腾气弹簧供应商 | 学叉车培训|叉车证报名|叉车查询|叉车证怎么考-工程机械培训网 | 重庆轻质隔墙板-重庆安吉升科技有限公司 | 云阳人才网_云阳招聘网_云阳人才市场_云阳人事人才网_云阳人家招聘网_云阳最新招聘信息 | 私人别墅家庭影院系统_家庭影院音响_家庭影院装修设计公司-邦牛影音 | 杭州标识标牌|文化墙|展厅|导视|户内外广告|发光字|灯箱|铭阳制作公司 - 杭州标识标牌|文化墙|展厅|导视|户内外广告|发光字|灯箱|铭阳制作公司 | 舞台木地板厂家_体育运动木地板_室内篮球馆木地板_实木运动地板厂家_欧氏篮球地板推荐 | 2025黄道吉日查询、吉时查询、老黄历查询平台- 黄道吉日查询网 | 膜结构车棚|上海膜结构车棚|上海车棚厂家|上海膜结构公司 | 除湿机|工业除湿机|抽湿器|大型地下室车间仓库吊顶防爆除湿机|抽湿烘干房|新风除湿机|调温/降温除湿机|恒温恒湿机|加湿机-杭州川田电器有限公司 | 裹包机|裹膜机|缠膜机|绕膜机-上海晏陵智能设备有限公司 | 步进电机_agv电机_伺服马达-伺服轮毂电机-和利时电机 | 高扬程排污泵_隔膜泵_磁力泵_节能自吸离心水泵厂家-【上海博洋】 | Duoguan 夺冠集团 | 北京遮阳网-防尘盖土网-盖土草坪-迷彩网-防尘网生产厂家-京兴科技 | 展厅设计公司,展厅公司,展厅设计,展厅施工,展厅装修,企业展厅,展馆设计公司-深圳广州展厅设计公司 | cnc精密加工_数控机械加工_非标平键定制生产厂家_扬州沃佳机械有限公司 | 优秀的临床医学知识库,临床知识库,医疗知识库,满足电子病历四级要求,免费试用 | 上海小程序开发-小程序制作-上海小程序定制开发公司-微信商城小程序-上海咏熠 | 螺钉式热电偶_便携式温度传感器_压簧式热电偶|无锡联泰仪表有限公司|首页 | 搬运设备、起重设备、吊装设备—『龙海起重成套设备』 | 超声波成孔成槽质量检测仪-压浆机-桥梁预应力智能张拉设备-上海硕冠检测设备有限公司 | 东莞ERP软件_广州云ERP_中山ERP_台湾工厂erp系统-广东顺景软件科技有限公司 | 骨龄仪_骨龄检测仪_儿童骨龄测试仪_品牌生产厂家【品源医疗】 | 恒温油槽-恒温水槽-低温恒温槽厂家-宁波科麦仪器有限公司 | 上海小程序开发-上海小程序制作公司-上海网站建设-公众号开发运营-软件外包公司-咏熠科技 | 房在线-免费房产管理系统软件-二手房中介房屋房源管理系统软件 | 南方珠江-南方一线电缆-南方珠江科技电缆-南方珠江科技有限公司 南汇8424西瓜_南汇玉菇甜瓜-南汇水蜜桃价格 | ET3000双钳形接地电阻测试仪_ZSR10A直流_SXJS-IV智能_SX-9000全自动油介质损耗测试仪-上海康登 | 郑州大巴车出租|中巴车租赁|旅游大巴租车|包车|郑州旅游大巴车租赁有限公司 | 鹤壁创新仪器公司-全自动量热仪,定硫仪,煤炭测硫仪,灰熔点测定仪,快速自动测氢仪,工业分析仪,煤质化验仪器 | 四探针电阻率测试仪-振实密度仪-粉末流动性测定仪-宁波瑞柯微智能 | 右手官网|右手工业设计|外观设计公司|工业设计公司|产品创新设计|医疗产品结构设计|EMC产品结构设计 | 成都网站建设制作_高端网站设计公司「做网站送优化推广」 | HDPE土工膜,复合土工膜,防渗膜价格,土工膜厂家-山东新路通工程材料有限公司 | 龙门加工中心-数控龙门加工中心厂家价格-山东海特数控机床有限公司_龙门加工中心-数控龙门加工中心厂家价格-山东海特数控机床有限公司 | 低温柔性试验仪-土工布淤堵-沥青车辙试验仪-莱博特(天津)试验机有限公司 | 联系我们老街华纳娱乐公司官网19989979996(客服) | 粉末冶金-粉末冶金齿轮-粉末冶金零件厂家-东莞市正朗精密金属零件有限公司 | 中央空调温控器_风机盘管温控器_智能_液晶_三速开关面板-中央空调温控器厂家 | 上海风淋室_上海风淋室厂家_上海风淋室价格_上海伯淋 |