中圖網(wǎng)小程序
一鍵登錄
更方便
本類五星書更多>
-
>
闖進(jìn)數(shù)學(xué)世界――探秘歷史名題
-
>
中醫(yī)基礎(chǔ)理論
-
>
當(dāng)代中國政府與政治(新編21世紀(jì)公共管理系列教材)
-
>
高校軍事課教程
-
>
思想道德與法治(2021年版)
-
>
毛澤東思想和中國特色社會(huì)主義理論體系概論(2021年版)
-
>
中醫(yī)內(nèi)科學(xué)·全國中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材
大數(shù)據(jù)分析處理(慕課版) 版權(quán)信息
- ISBN：9787115628275
- 條形碼：9787115628275 ; 978-7-115-62827-5
- 裝幀：平裝-膠訂
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>>
大數(shù)據(jù)分析處理(慕課版) 本書特色
1.信息類名校常州信息職業(yè)技術(shù)學(xué)院團(tuán)隊(duì)打造
2.崗課賽證，融入“1 X”證書職業(yè)技能等級標(biāo)準(zhǔn)
3.單元任務(wù)式寫法，符合職教認(rèn)知規(guī)律
4.教材編寫融入思政元素
5.校企“雙元”合作開發(fā)新形態(tài)教材
大數(shù)據(jù)分析處理(慕課版) 內(nèi)容簡介
本書采用理論知識(shí)與任務(wù)案例相結(jié)合的形式，以PyCharm為主要開發(fā)工具，系統(tǒng)地闡述了大數(shù)據(jù)分析處理工作流程中的重要步驟，介紹了大數(shù)據(jù)分析過程中常用的幾種第三方庫。本書共13個(gè)單元，第1單元介紹了大數(shù)據(jù)分析處理的概念；第2、3單元介紹了大數(shù)據(jù)分析中科學(xué)計(jì)算與統(tǒng)計(jì)分析的相關(guān)知識(shí)；第4-7單元介紹了使用Pandas實(shí)現(xiàn)數(shù)據(jù)預(yù)處理的方法；第8單元介紹了使用Scikit-learn實(shí)現(xiàn)簡單的機(jī)器學(xué)習(xí)的方法；第9單元介紹了使用Matplotlib、Seaborn繪制圖表的方法；第10-13單元分別介紹了4個(gè)大數(shù)據(jù)分析處理的綜合案例。單元1-9中，每個(gè)單元都包含了相關(guān)知識(shí)部分和任務(wù)實(shí)現(xiàn)部分，任務(wù)實(shí)現(xiàn)部分一般包含多個(gè)任務(wù)的具體實(shí)現(xiàn)過程，每個(gè)任務(wù)后面都有課堂實(shí)踐，通過完成實(shí)踐操作，讀者可以進(jìn)一步鞏固所學(xué)知識(shí)。 本書既可作為高等院校大數(shù)據(jù)技術(shù)專業(yè)的教材，也可作為大數(shù)據(jù)愛好者的自學(xué)書籍。
大數(shù)據(jù)分析處理(慕課版) 目錄
目錄
單元1 大數(shù)據(jù)分析概述 1
學(xué)習(xí)目標(biāo) 1
相關(guān)知識(shí) 1
1. 大數(shù)據(jù)分析的概念 1
2. 大數(shù)據(jù)分析的產(chǎn)生與發(fā)展過程 2
3. 大數(shù)據(jù)分析的應(yīng)用場景 3
4. 大數(shù)據(jù)分析流程 4
5. 傳統(tǒng)的分析統(tǒng)計(jì)工具 9
6. 大數(shù)據(jù)處理編程語言 9
7. 大數(shù)據(jù)分析實(shí)用工具 10
任務(wù)實(shí)現(xiàn) 11
任務(wù)1.1根據(jù)業(yè)務(wù)需求選擇合適的大數(shù)據(jù)分析技術(shù) 11
1.1.1 業(yè)務(wù)需求分析 11
1.1.2 選擇大數(shù)據(jù)分析技術(shù) 12
任務(wù)1.2 使用 pip和Pycharm完成 Python包的管理 13
1.2.1 了解Python常用庫 13
1.2.2 使用pip命令安裝、卸載Python包 14
1.2.3 使用Pycharm平臺(tái)安裝、卸載Python包 16
思政園地 19
單元小結(jié) 20
課后習(xí)題 20
單元2 NumPy科學(xué)計(jì)算基礎(chǔ) 22
學(xué)習(xí)目標(biāo) 22
相關(guān)知識(shí) 22
1.NumPy與ndarray對象 22
2.創(chuàng)建ndarray數(shù)組的函數(shù) 23
3.ndarray對象的數(shù)據(jù)類型 23
4.數(shù)組的矢量化運(yùn)算 24
5.廣播機(jī)制 25
6.數(shù)組與標(biāo)量的運(yùn)算 26
7.NumPy通用函數(shù) 26
8.NumPy的統(tǒng)計(jì)與排序方法 27
9.NumPy的numpy.linalg模塊 29
任務(wù)實(shí)現(xiàn) 29
任務(wù)2.1 保存考試成績—創(chuàng)建一個(gè)數(shù)組 29
2.1.1 使用函數(shù)創(chuàng)建數(shù)組 29
2.1.2 掌握隨機(jī)數(shù)模塊的使用 32
任務(wù)2.2 查看考試成績數(shù)據(jù)類型—查看數(shù)組的數(shù)據(jù)類型 35
2.2.1 查看數(shù)據(jù)類型 35
2.2.2 實(shí)現(xiàn)數(shù)據(jù)類型轉(zhuǎn)換 36
任務(wù)2.3 對兩門課成績進(jìn)行相加—實(shí)現(xiàn)數(shù)組運(yùn)算 37
2.3.1 實(shí)現(xiàn)矢量化運(yùn)算 37
2.3.2 實(shí)現(xiàn)數(shù)組廣播 38
2.3.3 實(shí)現(xiàn)數(shù)組與標(biāo)量間的運(yùn)算 39
任務(wù)2.4 對考試成績進(jìn)行計(jì)算—使用NumPy通用函數(shù)實(shí)現(xiàn)數(shù)組計(jì)算 39
2.4.1 一元通用函數(shù)的使用 40
2.4.2 二元通用函數(shù)的使用 40
任務(wù)2.5對考試成績進(jìn)行統(tǒng)計(jì)排序—利用NumPy數(shù)組進(jìn)行數(shù)據(jù)處理 42
2.5.1 變換數(shù)組的形態(tài) 42
2.5.2 實(shí)現(xiàn)數(shù)組統(tǒng)計(jì) 44
2.5.3 實(shí)現(xiàn)數(shù)組排序 47
任務(wù)2.6 對多門課成績進(jìn)行計(jì)算—使用NumPy的線性代數(shù)模塊處理矩陣 49
2.6.1 計(jì)算對角線元素和 49
2.6.2 實(shí)現(xiàn)矩陣乘法 49
思政園地 50
單元小結(jié) 51
課后習(xí)題 51
單元3 Pandas統(tǒng)計(jì)分析基礎(chǔ) 53
學(xué)習(xí)目標(biāo) 53
相關(guān)知識(shí) 53
1. Pandas與Pandas的數(shù)據(jù)類型 53
2.創(chuàng)建Series和DataFrame的函數(shù) 55
3.索引與切片 56
4.排序算法與實(shí)現(xiàn)排序的方法 56
5.統(tǒng)計(jì)學(xué)與實(shí)現(xiàn)統(tǒng)計(jì)的方法 56
任務(wù)實(shí)現(xiàn) 57
任務(wù)3.1 用不同方式創(chuàng)建系列——創(chuàng)建Series 57
3.1.1 創(chuàng)建一個(gè)空的Series 57
3.1.2 使用ndarray對象創(chuàng)建一個(gè)Series 58
3.1.3 使用字典創(chuàng)建一個(gè)Series 58
3.1.4 使用標(biāo)量創(chuàng)建一個(gè)Series 59
任務(wù)3.2 用不同方式創(chuàng)建數(shù)據(jù)幀——創(chuàng)建DataFrame 59
3.2.1 使用字典創(chuàng)建數(shù)據(jù)幀 59
3.2.2 使用csv文件創(chuàng)建DataFrame 62
3.2.3 在DataFrame中插入列和行 63
任務(wù)3.3 訪問和提取隨機(jī)數(shù)據(jù)——使用DataFrame進(jìn)行索引與切片 65
3.3.1 使用索引訪問數(shù)據(jù) 65
3.3.2 使用切片提取部分?jǐn)?shù)據(jù) 66
任務(wù)3.4 對學(xué)生數(shù)據(jù)進(jìn)行排序—實(shí)現(xiàn)數(shù)據(jù)排序 67
3.4.1 使用sort、sort_index、sort_values實(shí)現(xiàn)數(shù)據(jù)排序 67
3.4.2 控制排序順序 69
3.4.3 設(shè)置排序算法 71
任務(wù)3.5 進(jìn)行隨機(jī)數(shù)據(jù)統(tǒng)計(jì)—實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì) 72
3.5.1 使用Pandas的統(tǒng)計(jì)方法進(jìn)行統(tǒng)計(jì) 72
3.5.2 使用describe方法描述數(shù)據(jù) 76
思政園地 77
單元小結(jié) 77
課后習(xí)題 78
目錄
單元4 數(shù)據(jù)加載與存儲(chǔ) 80
學(xué)習(xí)目標(biāo) 80
相關(guān)知識(shí) 80
1. 常用的數(shù)據(jù)文件類型 80
2.文本文件讀取和寫入 81
3.Excel文件讀取和寫入 83
4. 數(shù)據(jù)庫文件讀取和寫入 85
任務(wù)實(shí)現(xiàn) 88
任務(wù)4.1 讀取并存儲(chǔ)城市經(jīng)緯度數(shù)據(jù)-txt文件讀寫 88
4.1.1 讀取txt文件中數(shù)據(jù) 89
4.1.2 將數(shù)據(jù)寫入txt文件 91
任務(wù)4.2 讀取并存儲(chǔ)招聘數(shù)據(jù)-csv文件的讀寫 92
4.2.1 讀取csv文件數(shù)據(jù) 93
4.2.2 將數(shù)據(jù)寫入csv文件 94
任務(wù)4.3 讀取并存儲(chǔ)用戶數(shù)據(jù)-Excel文件的讀寫 96
4.3.1 讀取Excel文件工作表數(shù)據(jù) 96
4.3.2 將數(shù)據(jù)寫入Excel文件的工作表中 96
任務(wù)4.4 讀取商品類別數(shù)據(jù)并存儲(chǔ)賬戶數(shù)據(jù)-MySQL數(shù)據(jù)庫讀寫 96
4.4.1 連接MySQL數(shù)據(jù)庫 96
4.4.2 從MySQL數(shù)據(jù)庫讀取數(shù)據(jù) 96
4.4.3 存儲(chǔ)數(shù)據(jù)到MySQL數(shù)據(jù)庫 96
思政園地 96
單元小結(jié) 96
課后習(xí)題 96
目錄
單元5 數(shù)據(jù)質(zhì)量與數(shù)據(jù)清洗 110
學(xué)習(xí)目標(biāo) 110
相關(guān)知識(shí) 110
1.企業(yè)數(shù)據(jù)管理現(xiàn)狀 110
2.數(shù)據(jù)標(biāo)準(zhǔn) 111
3.數(shù)據(jù)質(zhì)量的定義 111
4.常用的數(shù)據(jù)質(zhì)量檢測手段 113
5.數(shù)據(jù)質(zhì)量管理的必要性 113
6. 缺失值 114
7. 重復(fù)值 115
8. 異常值 117
任務(wù)實(shí)現(xiàn) 120
任務(wù)5.1 醫(yī)藥銷售數(shù)據(jù)遺漏檢查-缺失值處理 120
5.1.1 發(fā)現(xiàn)缺失值 121
5.1.2 處理缺失值 123
任務(wù)5.2 醫(yī)藥銷售數(shù)據(jù)去重校驗(yàn)-重復(fù)值處理 125
5.2.1 重復(fù)值判斷和查看 125
5.2.2 處理記錄重復(fù)值 126
5.2.3 處理特征重復(fù)值 127
任務(wù)5.3 醫(yī)藥銷售數(shù)據(jù)異常值排除-異常值處理 130
5.3.1 異常值識(shí)別 131
5.3.2 異常值處理 132
思政園地 133
單元小結(jié) 133
課后習(xí)題 134
單元6 數(shù)據(jù)合并與轉(zhuǎn)換 136
學(xué)習(xí)目標(biāo) 136
相關(guān)知識(shí) 136
1.concat()函數(shù) 136
2.append()方法 138
3.merge()函數(shù) 138
4.join()方法 141
5.combine_first()方法 142
6.map()方法 143
7.cut()函數(shù) 143
8.qcut()函數(shù) 144
任務(wù)實(shí)現(xiàn) 145
任務(wù)6.1 堆疊學(xué)生信息和考試成績數(shù)據(jù)—實(shí)現(xiàn)數(shù)據(jù)堆疊 145
6.1.1 實(shí)現(xiàn)數(shù)據(jù)橫向堆疊 145
6.1.2 實(shí)現(xiàn)數(shù)據(jù)縱向堆疊 146
任務(wù)6.2 連接學(xué)生信息和考試成績數(shù)據(jù)—實(shí)現(xiàn)數(shù)據(jù)連接 148
6.2.1 使用merge()函數(shù)實(shí)現(xiàn)數(shù)據(jù)連接 148
6.2.2 使用join()方法實(shí)現(xiàn)數(shù)據(jù)連接 150
6.2.3 使用combine_first()方法重疊合并數(shù)據(jù) 151
任務(wù)6.3 對學(xué)生考試成績進(jìn)行等級轉(zhuǎn)換—實(shí)現(xiàn)數(shù)據(jù)映射轉(zhuǎn)換 152
6.3.1 使用自定義函數(shù)映射轉(zhuǎn)換數(shù)據(jù) 152
6.3.2 使用字典映射轉(zhuǎn)換數(shù)據(jù) 153
6.3.3 使用lambda表達(dá)式映射轉(zhuǎn)換數(shù)據(jù) 154
任務(wù)6.4 對學(xué)生考試成績進(jìn)行離散化—實(shí)現(xiàn)數(shù)據(jù)離散化 155
6.4.1 實(shí)現(xiàn)數(shù)據(jù)等寬離散化 155
6.4.2 實(shí)現(xiàn)數(shù)據(jù)等頻離散化 156
思政園地 157
單元小結(jié) 157
課后習(xí)題 158
單元7 數(shù)據(jù)分組與聚合 160
學(xué)習(xí)目標(biāo) 160
相關(guān)知識(shí) 160
1.數(shù)據(jù)分組的概念 160
2.GroupBy機(jī)制 161
3.數(shù)據(jù)分組的原則和依據(jù) 161
4.數(shù)據(jù)分組的方法與體系 162
5.數(shù)據(jù)聚合的概念 163
6. agg和aggregate函數(shù) 163
7. apply函數(shù) 163
8. transform函數(shù) 163
任務(wù)實(shí)現(xiàn) 164
任務(wù)7.1 簡單數(shù)據(jù)表處理-數(shù)據(jù)分組 164
7.1.1 數(shù)據(jù)分組方法 164
7.1.2 實(shí)現(xiàn)Pandas 數(shù)據(jù)分組 166
任務(wù)7.2 人員得分表處理-數(shù)據(jù)聚合 172
7.2.1 實(shí)現(xiàn)agg聚合 172
7.2.2 實(shí)現(xiàn)apply聚合 175
7.2.3 實(shí)現(xiàn)transform聚合 179
思政園地 181
單元小結(jié) 182
課后習(xí)題 182
單元8 Scikit-learn機(jī)器學(xué)習(xí) 184
學(xué)習(xí)目標(biāo) 184
相關(guān)知識(shí) 184
1.機(jī)器學(xué)習(xí)的概念 184
2.機(jī)器學(xué)習(xí)的基本術(shù)語 185
3.機(jī)器學(xué)習(xí)的分類與應(yīng)用 185
4.假設(shè)空間 185
5.歸納偏好 186
6.Sklearn 187
7.劃分?jǐn)?shù)據(jù)集函數(shù) 188
8.preprocessing模塊 189
9.標(biāo)準(zhǔn)化和歸一化 190
10.降維 190
11.線性回歸 191
12.邏輯回歸 192
13.K-means算法 194
14.樸素貝葉斯 195
15.支持向量機(jī)算法 198
任務(wù)實(shí)現(xiàn) 201
任務(wù)8.1 使用sklearn處理iris數(shù)據(jù)集—使用sklearn處理數(shù)據(jù) 201
8.1.1 導(dǎo)入數(shù)據(jù)集 201
8.1.2 劃分訓(xùn)練集和測試集 202
任務(wù)8.2 boston數(shù)據(jù)集預(yù)處理和降維—數(shù)據(jù)集預(yù)處理 202
8.2.1 實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化 202
8.2.2 實(shí)現(xiàn)數(shù)據(jù)歸一化 202
8.2.3 實(shí)現(xiàn)PCA降維 202
任務(wù)8.3 構(gòu)建并評價(jià)boston回歸模型—回歸模型分析與預(yù)測 202
8.3.1 實(shí)現(xiàn)線性回歸 202
8.3.2 實(shí)現(xiàn)支持向量機(jī)算法 202
任務(wù)8.4 構(gòu)建并評價(jià)iris分類模型—分類模型分析與預(yù)測 202
8.4.1 實(shí)現(xiàn)邏輯回歸分類 202
8.4.2 實(shí)現(xiàn)樸素貝葉斯算法 202
任務(wù)8.5 構(gòu)建并評價(jià)iris聚類模型—聚類模型分析與評價(jià) 202
8.5.1 實(shí)現(xiàn)K-means算法 202
8.5.2 評價(jià)K-means算法 202
思政園地 202
單元小結(jié) 202
課后習(xí)題 202
單元9 使用統(tǒng)計(jì)圖表展示數(shù)據(jù) 225
學(xué)習(xí)目標(biāo) 225
相關(guān)知識(shí) 225
1. 數(shù)據(jù)可視化的概念 225
2. 數(shù)據(jù)可視化設(shè)計(jì)過程 226
3. 基本圖表類型及使用場景 227
4. pyplot基礎(chǔ)語法 229
5. rc參數(shù) 230
6. 繪制線圖的函數(shù)plot 231
7. 繪制柱狀圖的函數(shù)bar 232
8. 繪制直方圖的函數(shù)hist 232
9. 繪制餅圖的函數(shù)pie 233
10. 繪制散點(diǎn)圖的函數(shù)scatter 233
11. 子圖的概念 234
12. Seaborn 235
任務(wù)實(shí)現(xiàn) 236
任務(wù)9.1 使用線圖展示水果銷量變化曲線—掌握matplotlib基礎(chǔ)語法 236
9.1.1 掌握pyplot基礎(chǔ)語法 236
9.1.2 設(shè)置pyplot的動(dòng)態(tài)rc參數(shù) 237
任務(wù)9.2 使用常用圖表展示多個(gè)品牌汽車銷售額—繪制常見圖表 239
9.2.1 繪制線圖 239
9.2.2 繪制柱狀圖 241
9.2.3 繪制直方圖 243
9.2.4 繪制餅圖 244
9.2.5 繪制散點(diǎn)圖 246
任務(wù)9.3 使用子圖展示就業(yè)率數(shù)據(jù)—創(chuàng)建子圖 248
9.3.1數(shù)據(jù)分析與子圖設(shè)計(jì) 249
9.3.2 實(shí)現(xiàn)子圖的創(chuàng)建 250
任務(wù)9.4 使用Seaborn展示汽車數(shù)據(jù)的分布與相關(guān)性—使用Seaborn繪制圖表 252
9.4.1 使用Seaborn繪制直方圖 252
9.4.2 使用Seaborn繪制熱力圖 253
思政園地 255
單元小結(jié) 256
課后習(xí)題 256
單元10 某地區(qū)電力公司用戶付費(fèi)行為預(yù)測 258
任務(wù)10.1 案例背景概述 258
10.1.1項(xiàng)目目標(biāo) 258
10.1.2相關(guān)背景業(yè)務(wù)知識(shí) 258
10.1.3數(shù)據(jù)采集和理解 258
任務(wù)10.2 電力數(shù)據(jù)預(yù)處理 259
10.2.1按賬戶和日期排序 260
10.2.2統(tǒng)計(jì)每個(gè)賬戶每個(gè)月各種賬戶活動(dòng)發(fā)生的數(shù)量 261
10.2.3計(jì)算當(dāng)月月底的賬戶余額 262
10.2.4計(jì)算當(dāng)月月底賬戶余額，按下月10日前計(jì)算的賬戶余額 263
10.2.5計(jì)算每個(gè)賬戶每個(gè)月的用電量和繳費(fèi)量 264
10.2.6合并整理為新的用戶繳費(fèi)明細(xì)和用電量明細(xì)表 265
10.2.7數(shù)據(jù)中空值的處理 265
任務(wù)10.3 模型建立與評估 265
10.3.1數(shù)據(jù)特征的轉(zhuǎn)換 265
10.3.2邏輯回歸模型建立與評估 265
10.3.3支持向量機(jī)模型建立與評估 265
單元11 《你好，舊時(shí)光》文本挖掘分析 275
任務(wù)11.1 案例背景概述 275
11.1.1項(xiàng)目目標(biāo) 275
11.1.2相關(guān)背景知識(shí) 275
11.1.3實(shí)驗(yàn)準(zhǔn)備 276
任務(wù)11.2 文本數(shù)據(jù)準(zhǔn)備與處理 277
11.2.1讀入數(shù)據(jù)與基本處理 277
11.2.2創(chuàng)建停用詞 277
11.2.3找出章節(jié)的頭部索引和尾部索引 277
11.2.4 繪制章節(jié)段數(shù)與字?jǐn)?shù)折線圖 278
任務(wù)11.3 文本分詞與詞云繪制 278
11.3.1全文分詞 278
11.3.2統(tǒng)計(jì)詞頻與長度 279
11.3.3繪制高頻詞圖 279
11.3.4詞云繪制 280
任務(wù)11.4 關(guān)系網(wǎng)絡(luò)探索 280
11.4.1 計(jì)算段落權(quán)重 280
11.4.2 繪制人物關(guān)系圖 282
任務(wù)11.5 聚類分析 283
11.5.1計(jì)算tf-idf得到詞向量矩陣 283
11.5.2獲得所有特征項(xiàng) 284
11.5.3 k均值聚類 284
11.5.4 聚類結(jié)果可視化 285
11.5.5 層次聚類 285
單元12 基于大數(shù)據(jù)可視化的城市通勤特征分析研究 287
任務(wù)12.1 案例背景概述 287
12.1.1項(xiàng)目目標(biāo) 287
12.1.2相關(guān)背景知識(shí) 287
任務(wù)12.2 原始數(shù)據(jù)預(yù)處理 287
12.2.1數(shù)據(jù)的載入 288
12.2.2站點(diǎn)信息處理 289
12.2.3地鐵刷卡記錄處理 290
12.2.4 合并通勤記錄 291
12.2.5 虛擬換乘站點(diǎn)數(shù)據(jù)合并 292
任務(wù)12.3 詞云圖的繪制 295
12.3.1載入數(shù)據(jù) 295
12.3.2 設(shè)置文字云圖各項(xiàng)參數(shù) 296
12.3.3 繪制詞云圖 296
任務(wù)12.4 繪制起終點(diǎn)分布連線圖 296
12.4.1 載入數(shù)據(jù) 296
12.4.2 統(tǒng)計(jì)頻數(shù)并篩選 296
12.4.3 完成繪圖 296
任務(wù)12.5 繪制早高峰地鐵刷卡進(jìn)出站分布圖 296
12.5.1載入數(shù)據(jù) 296
12.5.2統(tǒng)計(jì)出入站的頻次 296
12.5.3設(shè)置圖形選項(xiàng)參數(shù)并畫圖 296
任務(wù)12.6職住地識(shí)別與城市規(guī)劃對比分析 296
12.6.1載入數(shù)據(jù) 296
12.6.2統(tǒng)計(jì)居住地和工作地的出入站頻次 296
12.6.3進(jìn)行區(qū)域中心分析 296
任務(wù)13.1 案例背景概述 312
13.1.1項(xiàng)目目標(biāo) 312
13.1.2相關(guān)背景知識(shí) 312
任務(wù)13.2 網(wǎng)絡(luò)數(shù)據(jù)爬取 312
13.2.1查看要爬取的網(wǎng)頁結(jié)構(gòu) 312
13.2.2提取此網(wǎng)頁中的新聞標(biāo)題 313
任務(wù)13.3 中文文本處理 314
13.3.1中文分詞 315
13.3.2將分詞后得到的詞組轉(zhuǎn)換為向量 316
任務(wù)13.4 機(jī)器學(xué)習(xí)做情感分析 318
13.4.1 樣本拆分 318
13.4.2 模型訓(xùn)練與評價(jià) 318
任務(wù)13.5 作詞云圖 321
13.5.1載入數(shù)據(jù) 321
13.5.2分詞 321
13.5.3繪制詞云圖 322
單元1 大數(shù)據(jù)分析概述 1
學(xué)習(xí)目標(biāo) 1
相關(guān)知識(shí) 1
1. 大數(shù)據(jù)分析的概念 1
2. 大數(shù)據(jù)分析的產(chǎn)生與發(fā)展過程 2
3. 大數(shù)據(jù)分析的應(yīng)用場景 3
4. 大數(shù)據(jù)分析流程 4
5. 傳統(tǒng)的分析統(tǒng)計(jì)工具 9
6. 大數(shù)據(jù)處理編程語言 9
7. 大數(shù)據(jù)分析實(shí)用工具 10
任務(wù)實(shí)現(xiàn) 11
任務(wù)1.1根據(jù)業(yè)務(wù)需求選擇合適的大數(shù)據(jù)分析技術(shù) 11
1.1.1 業(yè)務(wù)需求分析 11
1.1.2 選擇大數(shù)據(jù)分析技術(shù) 12
任務(wù)1.2 使用 pip和Pycharm完成 Python包的管理 13
1.2.1 了解Python常用庫 13
1.2.2 使用pip命令安裝、卸載Python包 14
1.2.3 使用Pycharm平臺(tái)安裝、卸載Python包 16
思政園地 19
單元小結(jié) 20
課后習(xí)題 20
單元2 NumPy科學(xué)計(jì)算基礎(chǔ) 22
學(xué)習(xí)目標(biāo) 22
相關(guān)知識(shí) 22
1.NumPy與ndarray對象 22
2.創(chuàng)建ndarray數(shù)組的函數(shù) 23
3.ndarray對象的數(shù)據(jù)類型 23
4.數(shù)組的矢量化運(yùn)算 24
5.廣播機(jī)制 25
6.數(shù)組與標(biāo)量的運(yùn)算 26
7.NumPy通用函數(shù) 26
8.NumPy的統(tǒng)計(jì)與排序方法 27
9.NumPy的numpy.linalg模塊 29
任務(wù)實(shí)現(xiàn) 29
任務(wù)2.1 保存考試成績—創(chuàng)建一個(gè)數(shù)組 29
2.1.1 使用函數(shù)創(chuàng)建數(shù)組 29
2.1.2 掌握隨機(jī)數(shù)模塊的使用 32
任務(wù)2.2 查看考試成績數(shù)據(jù)類型—查看數(shù)組的數(shù)據(jù)類型 35
2.2.1 查看數(shù)據(jù)類型 35
2.2.2 實(shí)現(xiàn)數(shù)據(jù)類型轉(zhuǎn)換 36
任務(wù)2.3 對兩門課成績進(jìn)行相加—實(shí)現(xiàn)數(shù)組運(yùn)算 37
2.3.1 實(shí)現(xiàn)矢量化運(yùn)算 37
2.3.2 實(shí)現(xiàn)數(shù)組廣播 38
2.3.3 實(shí)現(xiàn)數(shù)組與標(biāo)量間的運(yùn)算 39
任務(wù)2.4 對考試成績進(jìn)行計(jì)算—使用NumPy通用函數(shù)實(shí)現(xiàn)數(shù)組計(jì)算 39
2.4.1 一元通用函數(shù)的使用 40
2.4.2 二元通用函數(shù)的使用 40
任務(wù)2.5對考試成績進(jìn)行統(tǒng)計(jì)排序—利用NumPy數(shù)組進(jìn)行數(shù)據(jù)處理 42
2.5.1 變換數(shù)組的形態(tài) 42
2.5.2 實(shí)現(xiàn)數(shù)組統(tǒng)計(jì) 44
2.5.3 實(shí)現(xiàn)數(shù)組排序 47
任務(wù)2.6 對多門課成績進(jìn)行計(jì)算—使用NumPy的線性代數(shù)模塊處理矩陣 49
2.6.1 計(jì)算對角線元素和 49
2.6.2 實(shí)現(xiàn)矩陣乘法 49
思政園地 50
單元小結(jié) 51
課后習(xí)題 51
單元3 Pandas統(tǒng)計(jì)分析基礎(chǔ) 53
學(xué)習(xí)目標(biāo) 53
相關(guān)知識(shí) 53
1. Pandas與Pandas的數(shù)據(jù)類型 53
2.創(chuàng)建Series和DataFrame的函數(shù) 55
3.索引與切片 56
4.排序算法與實(shí)現(xiàn)排序的方法 56
5.統(tǒng)計(jì)學(xué)與實(shí)現(xiàn)統(tǒng)計(jì)的方法 56
任務(wù)實(shí)現(xiàn) 57
任務(wù)3.1 用不同方式創(chuàng)建系列——創(chuàng)建Series 57
3.1.1 創(chuàng)建一個(gè)空的Series 57
3.1.2 使用ndarray對象創(chuàng)建一個(gè)Series 58
3.1.3 使用字典創(chuàng)建一個(gè)Series 58
3.1.4 使用標(biāo)量創(chuàng)建一個(gè)Series 59
任務(wù)3.2 用不同方式創(chuàng)建數(shù)據(jù)幀——創(chuàng)建DataFrame 59
3.2.1 使用字典創(chuàng)建數(shù)據(jù)幀 59
3.2.2 使用csv文件創(chuàng)建DataFrame 62
3.2.3 在DataFrame中插入列和行 63
任務(wù)3.3 訪問和提取隨機(jī)數(shù)據(jù)——使用DataFrame進(jìn)行索引與切片 65
3.3.1 使用索引訪問數(shù)據(jù) 65
3.3.2 使用切片提取部分?jǐn)?shù)據(jù) 66
任務(wù)3.4 對學(xué)生數(shù)據(jù)進(jìn)行排序—實(shí)現(xiàn)數(shù)據(jù)排序 67
3.4.1 使用sort、sort_index、sort_values實(shí)現(xiàn)數(shù)據(jù)排序 67
3.4.2 控制排序順序 69
3.4.3 設(shè)置排序算法 71
任務(wù)3.5 進(jìn)行隨機(jī)數(shù)據(jù)統(tǒng)計(jì)—實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì) 72
3.5.1 使用Pandas的統(tǒng)計(jì)方法進(jìn)行統(tǒng)計(jì) 72
3.5.2 使用describe方法描述數(shù)據(jù) 76
思政園地 77
單元小結(jié) 77
課后習(xí)題 78
目錄
單元4 數(shù)據(jù)加載與存儲(chǔ) 80
學(xué)習(xí)目標(biāo) 80
相關(guān)知識(shí) 80
1. 常用的數(shù)據(jù)文件類型 80
2.文本文件讀取和寫入 81
3.Excel文件讀取和寫入 83
4. 數(shù)據(jù)庫文件讀取和寫入 85
任務(wù)實(shí)現(xiàn) 88
任務(wù)4.1 讀取并存儲(chǔ)城市經(jīng)緯度數(shù)據(jù)-txt文件讀寫 88
4.1.1 讀取txt文件中數(shù)據(jù) 89
4.1.2 將數(shù)據(jù)寫入txt文件 91
任務(wù)4.2 讀取并存儲(chǔ)招聘數(shù)據(jù)-csv文件的讀寫 92
4.2.1 讀取csv文件數(shù)據(jù) 93
4.2.2 將數(shù)據(jù)寫入csv文件 94
任務(wù)4.3 讀取并存儲(chǔ)用戶數(shù)據(jù)-Excel文件的讀寫 96
4.3.1 讀取Excel文件工作表數(shù)據(jù) 96
4.3.2 將數(shù)據(jù)寫入Excel文件的工作表中 96
任務(wù)4.4 讀取商品類別數(shù)據(jù)并存儲(chǔ)賬戶數(shù)據(jù)-MySQL數(shù)據(jù)庫讀寫 96
4.4.1 連接MySQL數(shù)據(jù)庫 96
4.4.2 從MySQL數(shù)據(jù)庫讀取數(shù)據(jù) 96
4.4.3 存儲(chǔ)數(shù)據(jù)到MySQL數(shù)據(jù)庫 96
思政園地 96
單元小結(jié) 96
課后習(xí)題 96
目錄
單元5 數(shù)據(jù)質(zhì)量與數(shù)據(jù)清洗 110
學(xué)習(xí)目標(biāo) 110
相關(guān)知識(shí) 110
1.企業(yè)數(shù)據(jù)管理現(xiàn)狀 110
2.數(shù)據(jù)標(biāo)準(zhǔn) 111
3.數(shù)據(jù)質(zhì)量的定義 111
4.常用的數(shù)據(jù)質(zhì)量檢測手段 113
5.數(shù)據(jù)質(zhì)量管理的必要性 113
6. 缺失值 114
7. 重復(fù)值 115
8. 異常值 117
任務(wù)實(shí)現(xiàn) 120
任務(wù)5.1 醫(yī)藥銷售數(shù)據(jù)遺漏檢查-缺失值處理 120
5.1.1 發(fā)現(xiàn)缺失值 121
5.1.2 處理缺失值 123
任務(wù)5.2 醫(yī)藥銷售數(shù)據(jù)去重校驗(yàn)-重復(fù)值處理 125
5.2.1 重復(fù)值判斷和查看 125
5.2.2 處理記錄重復(fù)值 126
5.2.3 處理特征重復(fù)值 127
任務(wù)5.3 醫(yī)藥銷售數(shù)據(jù)異常值排除-異常值處理 130
5.3.1 異常值識(shí)別 131
5.3.2 異常值處理 132
思政園地 133
單元小結(jié) 133
課后習(xí)題 134
單元6 數(shù)據(jù)合并與轉(zhuǎn)換 136
學(xué)習(xí)目標(biāo) 136
相關(guān)知識(shí) 136
1.concat()函數(shù) 136
2.append()方法 138
3.merge()函數(shù) 138
4.join()方法 141
5.combine_first()方法 142
6.map()方法 143
7.cut()函數(shù) 143
8.qcut()函數(shù) 144
任務(wù)實(shí)現(xiàn) 145
任務(wù)6.1 堆疊學(xué)生信息和考試成績數(shù)據(jù)—實(shí)現(xiàn)數(shù)據(jù)堆疊 145
6.1.1 實(shí)現(xiàn)數(shù)據(jù)橫向堆疊 145
6.1.2 實(shí)現(xiàn)數(shù)據(jù)縱向堆疊 146
任務(wù)6.2 連接學(xué)生信息和考試成績數(shù)據(jù)—實(shí)現(xiàn)數(shù)據(jù)連接 148
6.2.1 使用merge()函數(shù)實(shí)現(xiàn)數(shù)據(jù)連接 148
6.2.2 使用join()方法實(shí)現(xiàn)數(shù)據(jù)連接 150
6.2.3 使用combine_first()方法重疊合并數(shù)據(jù) 151
任務(wù)6.3 對學(xué)生考試成績進(jìn)行等級轉(zhuǎn)換—實(shí)現(xiàn)數(shù)據(jù)映射轉(zhuǎn)換 152
6.3.1 使用自定義函數(shù)映射轉(zhuǎn)換數(shù)據(jù) 152
6.3.2 使用字典映射轉(zhuǎn)換數(shù)據(jù) 153
6.3.3 使用lambda表達(dá)式映射轉(zhuǎn)換數(shù)據(jù) 154
任務(wù)6.4 對學(xué)生考試成績進(jìn)行離散化—實(shí)現(xiàn)數(shù)據(jù)離散化 155
6.4.1 實(shí)現(xiàn)數(shù)據(jù)等寬離散化 155
6.4.2 實(shí)現(xiàn)數(shù)據(jù)等頻離散化 156
思政園地 157
單元小結(jié) 157
課后習(xí)題 158
單元7 數(shù)據(jù)分組與聚合 160
學(xué)習(xí)目標(biāo) 160
相關(guān)知識(shí) 160
1.數(shù)據(jù)分組的概念 160
2.GroupBy機(jī)制 161
3.數(shù)據(jù)分組的原則和依據(jù) 161
4.數(shù)據(jù)分組的方法與體系 162
5.數(shù)據(jù)聚合的概念 163
6. agg和aggregate函數(shù) 163
7. apply函數(shù) 163
8. transform函數(shù) 163
任務(wù)實(shí)現(xiàn) 164
任務(wù)7.1 簡單數(shù)據(jù)表處理-數(shù)據(jù)分組 164
7.1.1 數(shù)據(jù)分組方法 164
7.1.2 實(shí)現(xiàn)Pandas 數(shù)據(jù)分組 166
任務(wù)7.2 人員得分表處理-數(shù)據(jù)聚合 172
7.2.1 實(shí)現(xiàn)agg聚合 172
7.2.2 實(shí)現(xiàn)apply聚合 175
7.2.3 實(shí)現(xiàn)transform聚合 179
思政園地 181
單元小結(jié) 182
課后習(xí)題 182
單元8 Scikit-learn機(jī)器學(xué)習(xí) 184
學(xué)習(xí)目標(biāo) 184
相關(guān)知識(shí) 184
1.機(jī)器學(xué)習(xí)的概念 184
2.機(jī)器學(xué)習(xí)的基本術(shù)語 185
3.機(jī)器學(xué)習(xí)的分類與應(yīng)用 185
4.假設(shè)空間 185
5.歸納偏好 186
6.Sklearn 187
7.劃分?jǐn)?shù)據(jù)集函數(shù) 188
8.preprocessing模塊 189
9.標(biāo)準(zhǔn)化和歸一化 190
10.降維 190
11.線性回歸 191
12.邏輯回歸 192
13.K-means算法 194
14.樸素貝葉斯 195
15.支持向量機(jī)算法 198
任務(wù)實(shí)現(xiàn) 201
任務(wù)8.1 使用sklearn處理iris數(shù)據(jù)集—使用sklearn處理數(shù)據(jù) 201
8.1.1 導(dǎo)入數(shù)據(jù)集 201
8.1.2 劃分訓(xùn)練集和測試集 202
任務(wù)8.2 boston數(shù)據(jù)集預(yù)處理和降維—數(shù)據(jù)集預(yù)處理 202
8.2.1 實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化 202
8.2.2 實(shí)現(xiàn)數(shù)據(jù)歸一化 202
8.2.3 實(shí)現(xiàn)PCA降維 202
任務(wù)8.3 構(gòu)建并評價(jià)boston回歸模型—回歸模型分析與預(yù)測 202
8.3.1 實(shí)現(xiàn)線性回歸 202
8.3.2 實(shí)現(xiàn)支持向量機(jī)算法 202
任務(wù)8.4 構(gòu)建并評價(jià)iris分類模型—分類模型分析與預(yù)測 202
8.4.1 實(shí)現(xiàn)邏輯回歸分類 202
8.4.2 實(shí)現(xiàn)樸素貝葉斯算法 202
任務(wù)8.5 構(gòu)建并評價(jià)iris聚類模型—聚類模型分析與評價(jià) 202
8.5.1 實(shí)現(xiàn)K-means算法 202
8.5.2 評價(jià)K-means算法 202
思政園地 202
單元小結(jié) 202
課后習(xí)題 202
單元9 使用統(tǒng)計(jì)圖表展示數(shù)據(jù) 225
學(xué)習(xí)目標(biāo) 225
相關(guān)知識(shí) 225
1. 數(shù)據(jù)可視化的概念 225
2. 數(shù)據(jù)可視化設(shè)計(jì)過程 226
3. 基本圖表類型及使用場景 227
4. pyplot基礎(chǔ)語法 229
5. rc參數(shù) 230
6. 繪制線圖的函數(shù)plot 231
7. 繪制柱狀圖的函數(shù)bar 232
8. 繪制直方圖的函數(shù)hist 232
9. 繪制餅圖的函數(shù)pie 233
10. 繪制散點(diǎn)圖的函數(shù)scatter 233
11. 子圖的概念 234
12. Seaborn 235
任務(wù)實(shí)現(xiàn) 236
任務(wù)9.1 使用線圖展示水果銷量變化曲線—掌握matplotlib基礎(chǔ)語法 236
9.1.1 掌握pyplot基礎(chǔ)語法 236
9.1.2 設(shè)置pyplot的動(dòng)態(tài)rc參數(shù) 237
任務(wù)9.2 使用常用圖表展示多個(gè)品牌汽車銷售額—繪制常見圖表 239
9.2.1 繪制線圖 239
9.2.2 繪制柱狀圖 241
9.2.3 繪制直方圖 243
9.2.4 繪制餅圖 244
9.2.5 繪制散點(diǎn)圖 246
任務(wù)9.3 使用子圖展示就業(yè)率數(shù)據(jù)—創(chuàng)建子圖 248
9.3.1數(shù)據(jù)分析與子圖設(shè)計(jì) 249
9.3.2 實(shí)現(xiàn)子圖的創(chuàng)建 250
任務(wù)9.4 使用Seaborn展示汽車數(shù)據(jù)的分布與相關(guān)性—使用Seaborn繪制圖表 252
9.4.1 使用Seaborn繪制直方圖 252
9.4.2 使用Seaborn繪制熱力圖 253
思政園地 255
單元小結(jié) 256
課后習(xí)題 256
單元10 某地區(qū)電力公司用戶付費(fèi)行為預(yù)測 258
任務(wù)10.1 案例背景概述 258
10.1.1項(xiàng)目目標(biāo) 258
10.1.2相關(guān)背景業(yè)務(wù)知識(shí) 258
10.1.3數(shù)據(jù)采集和理解 258
任務(wù)10.2 電力數(shù)據(jù)預(yù)處理 259
10.2.1按賬戶和日期排序 260
10.2.2統(tǒng)計(jì)每個(gè)賬戶每個(gè)月各種賬戶活動(dòng)發(fā)生的數(shù)量 261
10.2.3計(jì)算當(dāng)月月底的賬戶余額 262
10.2.4計(jì)算當(dāng)月月底賬戶余額，按下月10日前計(jì)算的賬戶余額 263
10.2.5計(jì)算每個(gè)賬戶每個(gè)月的用電量和繳費(fèi)量 264
10.2.6合并整理為新的用戶繳費(fèi)明細(xì)和用電量明細(xì)表 265
10.2.7數(shù)據(jù)中空值的處理 265
任務(wù)10.3 模型建立與評估 265
10.3.1數(shù)據(jù)特征的轉(zhuǎn)換 265
10.3.2邏輯回歸模型建立與評估 265
10.3.3支持向量機(jī)模型建立與評估 265
單元11 《你好，舊時(shí)光》文本挖掘分析 275
任務(wù)11.1 案例背景概述 275
11.1.1項(xiàng)目目標(biāo) 275
11.1.2相關(guān)背景知識(shí) 275
11.1.3實(shí)驗(yàn)準(zhǔn)備 276
任務(wù)11.2 文本數(shù)據(jù)準(zhǔn)備與處理 277
11.2.1讀入數(shù)據(jù)與基本處理 277
11.2.2創(chuàng)建停用詞 277
11.2.3找出章節(jié)的頭部索引和尾部索引 277
11.2.4 繪制章節(jié)段數(shù)與字?jǐn)?shù)折線圖 278
任務(wù)11.3 文本分詞與詞云繪制 278
11.3.1全文分詞 278
11.3.2統(tǒng)計(jì)詞頻與長度 279
11.3.3繪制高頻詞圖 279
11.3.4詞云繪制 280
任務(wù)11.4 關(guān)系網(wǎng)絡(luò)探索 280
11.4.1 計(jì)算段落權(quán)重 280
11.4.2 繪制人物關(guān)系圖 282
任務(wù)11.5 聚類分析 283
11.5.1計(jì)算tf-idf得到詞向量矩陣 283
11.5.2獲得所有特征項(xiàng) 284
11.5.3 k均值聚類 284
11.5.4 聚類結(jié)果可視化 285
11.5.5 層次聚類 285
單元12 基于大數(shù)據(jù)可視化的城市通勤特征分析研究 287
任務(wù)12.1 案例背景概述 287
12.1.1項(xiàng)目目標(biāo) 287
12.1.2相關(guān)背景知識(shí) 287
任務(wù)12.2 原始數(shù)據(jù)預(yù)處理 287
12.2.1數(shù)據(jù)的載入 288
12.2.2站點(diǎn)信息處理 289
12.2.3地鐵刷卡記錄處理 290
12.2.4 合并通勤記錄 291
12.2.5 虛擬換乘站點(diǎn)數(shù)據(jù)合并 292
任務(wù)12.3 詞云圖的繪制 295
12.3.1載入數(shù)據(jù) 295
12.3.2 設(shè)置文字云圖各項(xiàng)參數(shù) 296
12.3.3 繪制詞云圖 296
任務(wù)12.4 繪制起終點(diǎn)分布連線圖 296
12.4.1 載入數(shù)據(jù) 296
12.4.2 統(tǒng)計(jì)頻數(shù)并篩選 296
12.4.3 完成繪圖 296
任務(wù)12.5 繪制早高峰地鐵刷卡進(jìn)出站分布圖 296
12.5.1載入數(shù)據(jù) 296
12.5.2統(tǒng)計(jì)出入站的頻次 296
12.5.3設(shè)置圖形選項(xiàng)參數(shù)并畫圖 296
任務(wù)12.6職住地識(shí)別與城市規(guī)劃對比分析 296
12.6.1載入數(shù)據(jù) 296
12.6.2統(tǒng)計(jì)居住地和工作地的出入站頻次 296
12.6.3進(jìn)行區(qū)域中心分析 296
任務(wù)13.1 案例背景概述 312
13.1.1項(xiàng)目目標(biāo) 312
13.1.2相關(guān)背景知識(shí) 312
任務(wù)13.2 網(wǎng)絡(luò)數(shù)據(jù)爬取 312
13.2.1查看要爬取的網(wǎng)頁結(jié)構(gòu) 312
13.2.2提取此網(wǎng)頁中的新聞標(biāo)題 313
任務(wù)13.3 中文文本處理 314
13.3.1中文分詞 315
13.3.2將分詞后得到的詞組轉(zhuǎn)換為向量 316
任務(wù)13.4 機(jī)器學(xué)習(xí)做情感分析 318
13.4.1 樣本拆分 318
13.4.2 模型訓(xùn)練與評價(jià) 318
任務(wù)13.5 作詞云圖 321
13.5.1載入數(shù)據(jù) 321
13.5.2分詞 321
13.5.3繪制詞云圖 322
展開全部
大數(shù)據(jù)分析處理(慕課版) 作者簡介
永洪 常州信息職業(yè)技術(shù)學(xué)院大數(shù)據(jù)技術(shù)專業(yè)負(fù)責(zé)人，具有豐富大數(shù)據(jù)技術(shù)專業(yè)相關(guān)教學(xué)和科研工作經(jīng)驗(yàn)，為國家級教學(xué)團(tuán)隊(duì)成員、國家級職業(yè)教育教師教學(xué)創(chuàng)新團(tuán)隊(duì)成員、江蘇省高校“青藍(lán)工程”優(yōu)秀青年骨干教師、江蘇省優(yōu)秀畢業(yè)設(shè)計(jì)團(tuán)隊(duì)指導(dǎo)老師；參與國家精品資源共享課、國家在線開放課、軟件技術(shù)專業(yè)國家教學(xué)資源庫、省在線開放課程等建設(shè)；獲江蘇省教學(xué)成果一等獎(jiǎng)一項(xiàng)、二等獎(jiǎng)一項(xiàng)。主要講授大數(shù)據(jù)分析處理、數(shù)據(jù)庫管理與應(yīng)用、C#應(yīng)用開發(fā)、UML建模與設(shè)計(jì)模式、Web前端開發(fā)等課程；參與編寫國家規(guī)劃教材《軟件開發(fā)與項(xiàng)目管理》、《信息技術(shù)基礎(chǔ)》，主編高職高專規(guī)劃教材《XML案例教材》，主編常州信息職業(yè)技術(shù)學(xué)院精品教材《.NET Web應(yīng)用開發(fā)》。
書友推薦
- >
經(jīng)典常談
- >
人文閱讀與收藏·良友文學(xué)叢書:一天的工作
- >
姑媽的寶刀
- >
自卑與超越
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
回憶愛瑪儂
- >
伯納黛特,你要去哪(2021新版)
- >
伊索寓言-世界文學(xué)名著典藏-全譯本
本類暢銷
