包郵大數(shù)據(jù)采集與預(yù)處理微課版

作者：宋磊,陳天真,崔敏編

出版社：人民郵電出版社出版時(shí)間：2024-07-01

開(kāi)本： 16開(kāi) 頁(yè)數(shù)： 216

本類榜單：教材銷量榜

中圖價(jià):¥39.2(7.0折) 定價(jià) ~~¥56.0~~ 登錄后可看到會(huì)員價(jià)

加入購(gòu)物車收藏

開(kāi)年大促， 全場(chǎng)包郵

?新疆、西藏除外

本類五星書(shū)更多>

>
闖進(jìn)數(shù)學(xué)世界――探秘歷史名題

闖進(jìn)數(shù)學(xué)世界――探秘歷史名題

¥20.7¥32.8
>
中醫(yī)基礎(chǔ)理論

中醫(yī)基礎(chǔ)理論

¥51.7¥59
>
當(dāng)代中國(guó)政府與政治(新編21世紀(jì)公共管理系列教材)

當(dāng)代中國(guó)政府與政治(新編21世紀(jì)公共管理系列教材)

¥31.2¥48
>
高校軍事課教程

高校軍事課教程

¥12.4¥38
>
思想道德與法治(2021年版)

思想道德與法治(2021年版)

¥8.5¥18
>
毛澤東思想和中國(guó)特色社會(huì)主義理論體系概論(2021年版)

毛澤東思想和中國(guó)特色社會(huì)主義理論體系概論(2021年版)

¥8.5¥25
>
中醫(yī)內(nèi)科學(xué)·全國(guó)中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材

中醫(yī)內(nèi)科學(xué)·全國(guó)中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材

¥85.1¥99

商品詳情
商品評(píng)論(0條)

中圖價(jià):¥39.2 加入購(gòu)物車

版權(quán)信息
本書(shū)特色
內(nèi)容簡(jiǎn)介
目錄
作者簡(jiǎn)介

大數(shù)據(jù)采集與預(yù)處理微課版版權(quán)信息

ISBN：9787115639158
條形碼：9787115639158 ; 978-7-115-63915-8
裝幀：平裝-膠訂
冊(cè)數(shù)：暫無(wú)
重量：暫無(wú)
所屬分類：
教材
>
研究生/本科/專科教材

大數(shù)據(jù)采集與預(yù)處理微課版本書(shū)特色

1.本選題資源與案例均為本校多年教學(xué)經(jīng)驗(yàn)的總結(jié)，同時(shí)結(jié)合大數(shù)據(jù)一線企業(yè)浪潮集團(tuán)在數(shù)據(jù)采集行業(yè)的行業(yè)經(jīng)驗(yàn)與案例總結(jié)。做到了真正的產(chǎn)教融合。

2.以項(xiàng)目為模塊組織教材內(nèi)容，打破了原有教材體系的章節(jié)框架局限。

3.深度契合高等職業(yè)學(xué)校大數(shù)據(jù)技術(shù)與應(yīng)用*新專業(yè)教學(xué)標(biāo)準(zhǔn)

大數(shù)據(jù)采集與預(yù)處理微課版內(nèi)容簡(jiǎn)介

本書(shū)按照大數(shù)據(jù)采集與預(yù)處理的實(shí)現(xiàn)流程，由淺入深地講解大數(shù)據(jù)采集與預(yù)處理的相關(guān)技術(shù)，以及如何使用不同方式對(duì)大數(shù)據(jù)進(jìn)行采集與預(yù)處理。本書(shū)內(nèi)容系統(tǒng)、全面，可幫助開(kāi)發(fā)人員快速實(shí)現(xiàn)大量數(shù)據(jù)的采集。
本書(shū)主要內(nèi)容包括大數(shù)據(jù)采集與預(yù)處理簡(jiǎn)介、PyCharm的安裝與使用、Urllib庫(kù)數(shù)據(jù)采集、Requests庫(kù)數(shù)據(jù)采集、XPath和Beautiful Soup庫(kù)數(shù)據(jù)解析、Scrapy框架數(shù)據(jù)采集與存儲(chǔ)、Flume和Kafka日志數(shù)據(jù)采集以及使用Pandas、Pig、ELK進(jìn)行數(shù)據(jù)預(yù)處理等。
本書(shū)既可作為高職高專院校大數(shù)據(jù)、人工智能相關(guān)專業(yè)的教材，也可作為相關(guān)技術(shù)人員的參考書(shū)。

大數(shù)據(jù)采集與預(yù)處理微課版目錄

目錄 CONTENTS

項(xiàng)目1

初識(shí)動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)采集與

預(yù)處理　1

項(xiàng)目導(dǎo)言　1

思維導(dǎo)圖　1

知識(shí)目標(biāo)　1

技能目標(biāo)　1

素養(yǎng)目標(biāo)　2

任務(wù)1-1　認(rèn)識(shí)數(shù)據(jù)采集與預(yù)處理　2

任務(wù)描述　2

素質(zhì)拓展　2

任務(wù)技能　2

技能點(diǎn)1　認(rèn)識(shí)大數(shù)據(jù)來(lái)源　2

技能點(diǎn)2　認(rèn)識(shí)數(shù)據(jù)采集　5

技能點(diǎn)3　認(rèn)識(shí)數(shù)據(jù)預(yù)處理　10

任務(wù)1-2　搭建數(shù)據(jù)采集與預(yù)處理開(kāi)發(fā)

環(huán)境　14

任務(wù)描述　14

素質(zhì)拓展　14

任務(wù)技能　14

技能點(diǎn)1　認(rèn)識(shí)PyCharm　14

技能點(diǎn)2　下載及安裝PyCharm　15

技能點(diǎn)3　使用PyCharm　18

任務(wù)實(shí)施　20

項(xiàng)目小結(jié)　24

課后習(xí)題　24

自我評(píng)價(jià)　25

項(xiàng)目2

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)采集　26

項(xiàng)目導(dǎo)言　26

思維導(dǎo)圖　26

知識(shí)目標(biāo)　26

技能目標(biāo)　26

素養(yǎng)目標(biāo)　27

任務(wù)2-1　使用Urllib庫(kù)完成“新聞

動(dòng)態(tài)”網(wǎng)頁(yè)數(shù)據(jù)采集　27

任務(wù)描述　27

素質(zhì)拓展　27

任務(wù)技能　27

技能點(diǎn)1　request模塊　27

技能點(diǎn)2　error模塊　30

技能點(diǎn)3　parse模塊　31

任務(wù)實(shí)施　32

任務(wù)2-2　使用Requests庫(kù)完成

“浪潮云說(shuō)”網(wǎng)頁(yè)數(shù)據(jù)

采集　36

任務(wù)描述　36

素質(zhì)拓展　37

任務(wù)技能　37

技能點(diǎn)1　Requests庫(kù)的簡(jiǎn)介及

安裝　37

技能點(diǎn)2　Requests庫(kù)的基本使用

方法　38

技能點(diǎn)3　Requests庫(kù)的高級(jí)使用

方法　42

任務(wù)實(shí)施　45

項(xiàng)目小結(jié)　48

課后習(xí)題　48

自我評(píng)價(jià)　49

項(xiàng)目3

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)解析　50

項(xiàng)目導(dǎo)言　50

思維導(dǎo)圖　50

知識(shí)目標(biāo)　50

技能目標(biāo)　50

素養(yǎng)目標(biāo)　51

任務(wù)3-1　使用XPath解析“新聞

動(dòng)態(tài)”網(wǎng)頁(yè)數(shù)據(jù)　51

任務(wù)描述　51

素質(zhì)拓展　51

任務(wù)技能　51

技能點(diǎn)1　XPath的簡(jiǎn)介　51

技能點(diǎn)2　定位　55

技能點(diǎn)3　數(shù)據(jù)提取　57

任務(wù)實(shí)施　58

任務(wù)3-2　使用Beautiful Soup

解析“浪潮云說(shuō)”網(wǎng)頁(yè)

數(shù)據(jù)　63

任務(wù)描述　63

素質(zhì)拓展　63

任務(wù)技能　63

技能點(diǎn)1　Beautiful Soup的安裝　64

技能點(diǎn)2　Beautiful Soup的使用　65

任務(wù)實(shí)施　68

項(xiàng)目小結(jié)　75

課后習(xí)題　75

自我評(píng)價(jià)　76

項(xiàng)目4

基于Scrapy實(shí)現(xiàn)動(dòng)態(tài)網(wǎng)頁(yè)

數(shù)據(jù)采集與存儲(chǔ)　77

項(xiàng)目導(dǎo)言　77

思維導(dǎo)圖　77

知識(shí)目標(biāo)　77

技能目標(biāo)　77

素養(yǎng)目標(biāo)　78

任務(wù)4-1　使用Scrapy框架完成

新聞公告頁(yè)面數(shù)據(jù)采集

與存儲(chǔ)　78

任務(wù)描述　78

素質(zhì)拓展　78

任務(wù)技能　78

技能點(diǎn)1　Scrapy的簡(jiǎn)介及安裝　78

技能點(diǎn)2　Scrapy的操作指令　82

技能點(diǎn)3　段定義及Scrapy設(shè)置　83

技能點(diǎn)4　文本解析　89

技能點(diǎn)5　內(nèi)容存儲(chǔ)　93

任務(wù)實(shí)施　95

項(xiàng)目小結(jié)　104

課后習(xí)題　104

自我評(píng)價(jià)　105

項(xiàng)目5

動(dòng)態(tài)網(wǎng)頁(yè)訪問(wèn)日志數(shù)據(jù)

采集　106

項(xiàng)目導(dǎo)言　106

思維導(dǎo)圖　106

知識(shí)目標(biāo)　106

技能目標(biāo)　106

素養(yǎng)目標(biāo)　107

任務(wù)5-1　使用Flume采集某官網(wǎng)

訪問(wèn)日志數(shù)據(jù)　107

任務(wù)描述　107

素質(zhì)拓展　107

任務(wù)技能　107

技能點(diǎn)1　Flume的簡(jiǎn)介　107

技能點(diǎn)2　Flume數(shù)據(jù)采集配置　110

技能點(diǎn)3　Flume的啟動(dòng)方法　119

技能點(diǎn)4　Flume攔截器配置　122

任務(wù)實(shí)施　125

任務(wù)5-2　使用Kafka消費(fèi)Flume中

某官網(wǎng)訪問(wèn)日志數(shù)據(jù)　129

任務(wù)描述　129

素質(zhì)拓展　130

任務(wù)技能　130

技能點(diǎn)1　Kafka的簡(jiǎn)介　130

技能點(diǎn)2　Kafka的配置　131

技能點(diǎn)3　Kafka腳本操作　134

技能點(diǎn)4　Kafka Python API　137

任務(wù)實(shí)施　140

項(xiàng)目小結(jié)　144

課后習(xí)題　144

自我評(píng)價(jià)　145

項(xiàng)目6

動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)預(yù)處理　146

項(xiàng)目導(dǎo)言　146

思維導(dǎo)圖　146

知識(shí)目標(biāo)　147

技能目標(biāo)　147

素養(yǎng)目標(biāo)　147

任務(wù)6-1　使用Pandas實(shí)現(xiàn)新聞動(dòng)態(tài)

網(wǎng)頁(yè)數(shù)據(jù)預(yù)處理　147

任務(wù)描述　147

素質(zhì)拓展　147

任務(wù)技能　148

技能點(diǎn)1　Pandas的簡(jiǎn)介　148

技能點(diǎn)2　Pandas的數(shù)據(jù)結(jié)構(gòu)　148

技能點(diǎn)3　Pandas的基本功能　149

技能點(diǎn)4　匯總和描述統(tǒng)計(jì)　155

技能點(diǎn)5　處理缺失數(shù)據(jù)　157

任務(wù)實(shí)施　158

任務(wù)6-2　使用Pig實(shí)現(xiàn)“浪潮云說(shuō)”

網(wǎng)頁(yè)數(shù)據(jù)預(yù)處理　161

任務(wù)描述　161

素質(zhì)拓展　161

任務(wù)技能　162

技能點(diǎn)1　Pig的簡(jiǎn)介　162

技能點(diǎn)2　Pig配置運(yùn)行　162

技能點(diǎn)3　Pig Latin執(zhí)行　165

技能點(diǎn)4　運(yùn)算符　166

技能點(diǎn)5　內(nèi)置函數(shù)　171

任務(wù)實(shí)施　177

任務(wù)6-3　使用ELK實(shí)現(xiàn)某官網(wǎng)日志

數(shù)據(jù)預(yù)處理　182

任務(wù)描述　182

素質(zhì)拓展　182

任務(wù)技能　182

技能點(diǎn)1　Elasticsearch　182

技能點(diǎn)2　Logstash　184

技能點(diǎn)3　Kibana　195

任務(wù)實(shí)施　200

項(xiàng)目小結(jié)　207

課后習(xí)題　207

自我評(píng)價(jià)　208

展開(kāi)全部

大數(shù)據(jù)采集與預(yù)處理微課版作者簡(jiǎn)介

宋磊。電子與信息工程學(xué)院專業(yè)技術(shù)副總管，教授，全國(guó)技術(shù)能手（經(jīng)核準(zhǔn)后授予）、龍江技術(shù)能手，校級(jí)教學(xué)名師，校級(jí)師德先進(jìn)個(gè)人，哈爾濱市“四有”好老師。黑龍江省高職高專計(jì)算機(jī)類教學(xué)指導(dǎo)會(huì)員會(huì)委員、區(qū)塊鏈智能合約開(kāi)發(fā)職業(yè)技能等級(jí)證書(shū)考評(píng)員、數(shù)據(jù)采集職業(yè)技能等級(jí)證書(shū)考評(píng)員。從事軟件技術(shù)專業(yè)教學(xué)工作18年，主講《Java項(xiàng)目實(shí)戰(zhàn)》《Web綜合實(shí)戰(zhàn)》《Java企業(yè)級(jí)項(xiàng)目開(kāi)發(fā)實(shí)戰(zhàn)》等多門課程。主講課程《Java項(xiàng)目實(shí)戰(zhàn)》2018年評(píng)為省級(jí)精品在線開(kāi)放課程，2020年評(píng)為省級(jí)課程思政示范課。參加黑龍江省教學(xué)能力大賽獲二等獎(jiǎng)2項(xiàng)。指導(dǎo)學(xué)生參加全國(guó)職業(yè)院校技能大賽“物聯(lián)網(wǎng)技術(shù)應(yīng)用”“區(qū)塊鏈技術(shù)應(yīng)用”賽項(xiàng)獲二等獎(jiǎng)2項(xiàng)，三等獎(jiǎng)3項(xiàng)。指導(dǎo)學(xué)生參加省級(jí)職業(yè)院校技能大賽“物聯(lián)網(wǎng)技術(shù)應(yīng)用”、“云計(jì)算技術(shù)與應(yīng)用”、“大數(shù)據(jù)技術(shù)與應(yīng)用”、“移動(dòng)應(yīng)用開(kāi)發(fā)”等賽項(xiàng)獲一等獎(jiǎng)10余項(xiàng)。參與起草《數(shù)據(jù)采集》《JAVA應(yīng)用開(kāi)發(fā)》2項(xiàng)職業(yè)技能等級(jí)標(biāo)準(zhǔn)。擔(dān)任44-46屆世界技能大賽黑龍江省選拔賽“網(wǎng)站設(shè)計(jì)與開(kāi)發(fā)”賽項(xiàng)裁判長(zhǎng)和命題專家。主持省級(jí)區(qū)塊鏈技術(shù)應(yīng)用專業(yè)教學(xué)資源庫(kù)建設(shè)、主持校級(jí)新一代信息技術(shù)專業(yè)群教學(xué)資源庫(kù)建設(shè)。榮獲黑龍江省一類職業(yè)技能大賽物聯(lián)網(wǎng)技術(shù)職業(yè)技能大賽個(gè)人賽第一名（金牌）、黑龍江省第一屆職業(yè)技能大賽區(qū)塊鏈應(yīng)用操作金牌，全國(guó)第二屆職業(yè)技能大賽區(qū)塊鏈應(yīng)用操作銅牌。

商品評(píng)論(0條)

寫(xiě)書(shū)評(píng) 賺書(shū)幣

暫無(wú)評(píng)論……

書(shū)友推薦

>
苦雨齋序跋文-周作人自編集
苦雨齋序跋文-周作人自編集
周作人著，止庵校訂
¥6.1~~¥16.0~~
>
【精裝繪本】畫(huà)給孩子的中國(guó)神話
【精裝繪本】畫(huà)給孩子的中國(guó)神話
施英巍
¥18.6~~¥55.0~~
>
中國(guó)歷史的瞬間
中國(guó)歷史的瞬間
李永熾
¥16.7~~¥38.0~~
>
推拿
推拿
畢飛宇
¥12.2~~¥32.0~~
>
我與地壇
我與地壇
史鐵生
¥16.4~~¥28.0~~
>
李白與唐代文化
李白與唐代文化
葛景春
¥9.9~~¥29.8~~
>
新文學(xué)天穹兩巨星--魯迅與胡適/紅燭學(xué)術(shù)叢書(shū)(紅燭學(xué)術(shù)叢書(shū))
新文學(xué)天穹兩巨星--魯迅與胡適/紅燭學(xué)術(shù)叢書(shū)(紅燭學(xué)術(shù)叢書(shū))
易竹賢
¥9.9~~¥23.0~~
>
小考拉的故事-套裝共3冊(cè)
小考拉的故事-套裝共3冊(cè)
[澳] 多蘿西·沃爾著，崔育平譯
¥36.7~~¥68.0~~