掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
從零開始學SCRAPY網絡爬蟲(視頻教學版) 版權信息
- ISBN：9787111634744
- 條形碼：9787111634744 ; 978-7-111-63474-4
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
從零開始學SCRAPY網絡爬蟲(視頻教學版) 本書特色
《從零開始學Scrapy網絡爬蟲》從零開始，循序漸進地介紹了目前流行的網絡爬蟲框架Scrapy。即使你沒有任何編程基礎，閱讀《從零開始學Scrapy網絡爬蟲》也不會有壓力，因為書中有針對性地介紹了Python編程技術。另外，《從零開始學Scrapy網絡爬蟲》在講解過程中以案例為導向，通過對案例的不斷迭代、優化，讓讀者加深對知識的理解，并通過14個項目案例，提高讀者解決實際問題的能力。 《從零開始學Scrapy網絡爬蟲》共13章。其中，第1～4章為基礎篇，介紹了Python基礎、網絡爬蟲基礎、Scrapy框架及基本的爬蟲功能。第5～10章為進階篇，介紹了如何將爬蟲數據存儲于MySQL、MongoDB和Redis數據庫中；如何實現異步AJAX數據的爬取；如何使用Selenium和Splash實現動態網站的爬取；如何實現模擬登錄功能；如何突破反爬蟲技術，以及如何實現文件和圖片的下載。第11~13章為高級篇，介紹了使用Scrapy-Redis實現分布式爬蟲；使用Scrapyd和Docker部署分布式爬蟲；使用Gerapy管理分布式爬蟲，并實現了一個搶票軟件的綜合項目。 《從零開始學Scrapy網絡爬蟲》適合爬蟲初學者、愛好者及高校相關專業的學生閱讀，也適合數據爬蟲工程師作為參考讀物，同時還適合各大院校和培訓機構作為教材使用。 教學PPT
從零開始學SCRAPY網絡爬蟲(視頻教學版) 內容簡介
本書從零開始，循序漸進地介紹了目前*流行的網絡爬蟲框架Scrapy。本書共13章。其中~4章為基礎篇，介紹了Python基礎、網絡爬蟲基礎、Scrapy框架及基本的爬蟲功能。第5~10章為進階篇，介紹了如何將爬蟲數據存儲于MySQL、MongoDB和Redis數據庫中；如何實現異步的Ajax數據的爬取；如何使用Selenium和Splash實現動態網站的爬取；如何實現模擬登錄功能；如何突破反爬蟲技術，以及如何實現文件和圖片的下載。1~13章為不錯篇，介紹了使用Scrapy-Redis實現分布式爬蟲；使用Scrapyd和Docker部署分布式爬蟲；使用Gerapy管理分布式爬蟲，并實現了一個搶票軟件的綜合項目。本書適合爬蟲初學者、爬蟲愛好者及高校相關學生，也適合數據爬蟲工程師作為參考讀物，同時也適合各大院校和培訓機構作為教材使用。
從零開始學SCRAPY網絡爬蟲(視頻教學版) 目錄
第1篇 基礎篇
第1章 Python基礎 2
1.1 Python簡介 2
1.1.1 Python簡史 2
1.1.2 搭建Python環境 3
1.1.3 安裝PyCharm集成開發環境 6
1.2 Python基本語法 7
1.2.1 基本數據類型和運算 7
1.2.2 運算符和表達式 8
1.2.3 條件判斷語句 9
1.2.4 循環語句 10
1.2.5 字符串 12
1.3 Python內置數據結構 14
1.3.1 列表 15
1.3.2 字典 16
1.3.3 元組 17
1.3.4 遍歷對象集合 17
1.4 Python模塊化設計 18
1.4.1 函數 18
1.4.2 迭代器（iterator） 20
1.4.3 生成器（Generator） 20
1.4.4 類和對象 22
1.4.5 文件與異常 23
1.5 本章小結 25
第2章 網絡爬蟲基礎 26
2.1 HTTP基本原理 26
2.1.1 URL介紹 27
2.1.2 HTTP和HTTPS協議 27
2.1.3 HTTP請求（Request） 27
2.1.4 HTTP響應（Response） 30
2.2 網頁基礎 32
2.2.1 HTML文檔 33
2.2.2 網頁的結構 33
2.2.3 節點樹及節點之間的關系 34
2.3 使用XPath提取網頁信息 36
2.3.1 XPath介紹 36
2.3.2 XPath常用路徑表達式 36
2.3.3 XPath帶謂語的路徑表達式 39
2.4 本章小結 40
第3章 Scrapy框架介紹 41
3.1 網絡爬蟲原理 41
3.1.1 爬蟲執行的流程 41
3.2 Scrapy框架結構及執行流程 42
3.2.1 Scrapy框架結構 42
3.2.2 Scrapy執行流程 44
3.3 Scrapy安裝 44
3.3.1 使用pip安裝Scrapy 44
3.3.2 常見安裝錯誤 45
3.3.3 驗證安裝 46
3.4 **個網絡爬蟲 46
3.4.1 需求分析 46
3.4.2 創建項目 47
3.4.3 分析頁面 48
3.4.4 實現Spider爬蟲功能 49
3.4.5 運行爬蟲 50
3.4.6 常見問題 51
3.5 本章小結 52
第4章 Scrapy網絡爬蟲基礎 53
4.1 使用Spider提取數據 53
4.1.1 Spider組件介紹 53
4.1.2 重寫start_requests()方法 55
4.1.3 Request對象 57
4.1.4 使用選擇器提取數據 58
4.1.5 Response對象與XPath 59
4.1.6 Response對象與CSS 61
4.1.7 進一步了解Response對象 62
4.1.8 多頁數據的爬取 63
4.2 使用Item封裝數據 64
4.2.1 定義Item和Field 65
4.2.2 使用ItemLoader填充容器 66
4.3 使用Pipeline處理數據 69
4.3.1 Item Pipeline介紹 70
4.3.2 編寫自己的Item Pipeline 70
4.3.3 啟用Item Pipeline 71
4.3.4 多個Item Pipeline 71
4.3.5 保存為其他類型文件 72
4.4 項目案例：爬取鏈家網二手房信息 75
4.4.1 項目需求 75
4.4.2 技術分析 76
4.4.3 代碼實現及解析 77
4.5 本章小結 85
第2篇 進階篇
第5章 數據庫存儲 88
5.1 MySQL數據庫 88
5.1.1 關系型數據庫概述 88
5.1.2 下載和安裝MySQL數據庫 88
5.1.3 數據庫管理工具Navicat 92
5.1.4 Python訪問MySQL數據庫 94
5.1.5 項目案例 97
5.2 MongoDB數據庫 100
5.2.1 NoSQL概述 100
5.2.2 MongoDB介紹 100
5.2.3 MongoDB的下載和安裝 101
5.2.4 Python訪問MongoDB數據庫 102
5.2.5 項目案例 108
5.3 Redis數據庫 111
5.3.1 Redis的下載和安裝 111
5.3.2 Python訪問Redis 113
5.3.3 項目案例 118
5.4 本章小結 121
第6章 JavaScript與AJAX數據爬取 122
6.1 JavaScript簡介 122
6.2 項目案例：爬取QQ音樂榜單歌曲 122
6.2.1 項目需求 122
6.2.2 技術分析 123
6.2.3 代碼實現及解析 126
6.2.4 更常見的動態網頁 128
6.3 AJAX簡介 129
6.4 項目案例：爬取豆瓣電影信息 130
6.4.1 項目需求 130
6.4.2 技術分析 130
6.4.3 代碼實現及解析 133
6.5 本章小結 135
第7章 動態渲染頁面的爬取 136
7.1 Selenium實現動態頁面爬取 136
7.1.1 Selenium安裝 136
7.1.2 Selenium簡單實現 137
7.1.3 Selenium語法 138
7.2 項目案例：爬取今日頭條熱點新聞 145
7.2.1 項目需求 145
7.2.2 技術分析 145
7.2.3 代碼實現及解析 147
7.3 Splash實現動態頁面爬取 151
7.3.1 Splash介紹 151
7.3.2 Splash環境搭建 152
7.3.3 Splash模塊介紹 156
7.4 項目案例：爬取一號店中的iPhone手機信息 162
7.4.1 項目需求 162
7.4.2 技術分析 163
7.4.3 代碼實現及解析 165
7.5 本章小結 168
第8章 模擬登錄 169
8.1 模擬登錄解析 169
8.1.1 登錄過程解析 169
8.1.2 模擬登錄的實現 171
8.2 驗證碼識別 174
8.2.1 使用OCR識別驗證碼 174
8.2.2 處理復雜驗證碼 176
8.2.3 五花八門的驗證碼 177
8.3 Cookie自動登錄 177
8.3.1 Cookie介紹 178
8.3.2 獲取Cookie的庫—browsercookie 179
8.4 項目案例：爬取起點中文網某用戶的書架信息 180
8.4.1 項目需求 180
8.4.2 技術分析 180
8.4.3 代碼實現及解析 182
8.5 本章小結 184
第9章 突破反爬蟲技術 185
9.1 反爬蟲技術及突破措施 185
9.2 偽裝成不同的瀏覽器 187
9.2.1 UserAgentMiddleware中間件介紹 187
9.2.2 實現偽裝成隨機瀏覽器 188
9.2.3 更簡單的方法 191
9.3 使用HTTP代理服務器 192
9.3.1 HTTP代理服務器 192
9.3.2 獲取免費代理 193
9.3.3 實現隨機代理 199
9.4 本章小結 202
第10章 文件和圖片下載 203
10.1 文件下載 203
10.1.1 FilesPipeline執行流程 203
10.2 項目案例：爬取seaborn案例源文件 204
10.2.1 項目需求 204
10.2.2 技術分析 206
10.2.3 代碼實現及解析 206
10.2.4 更多功能 211
10.3 圖片下載 212
10.4 項目案例：爬取攝圖網圖片 213
10.4.1 項目需求 213
10.4.2 技術分析 215
10.4.3 代碼實現及解析 215
10.5 本章小結 221
第3篇 高級篇
第11章 Scrapy-Redis實現分布式爬蟲 224
11.1 分布式爬蟲原理 224
11.2 Scrapy-Redis實現分布式爬蟲分析 225
11.2.1 實現分布式爬蟲思路 225
11.2.2 Scrapy-Redis代碼解析 226
11.2.3 分布式爬蟲功能配置 231
11.3 項目案例：分布式爬蟲爬取攝圖網圖片 233
11.3.1 技術分析 233
11.3.2 代碼實現及解析 234
11.4 本章小結 237
第12章 Scrapyd部署分布式爬蟲 238
12.1 使用Scrapyd部署分布式爬蟲 238
12.1.1 Scrapyd的安裝及運行 238
12.1.2 Scrapyd功能介紹 241
12.2 使用Scrapyd-Client批量部署 244
12.3 使用Docker部署分布式爬蟲 248
12.4 使用Gerapy管理分布式爬蟲 253
12.5 本章小結 258
第13章 綜合項目：搶票軟件的實現 259
13.1 項目需求 259
13.2 技術分析 262
13.3 項目實現及解析 263
13.3.1 搭建Scrapy項目框架 263
13.3.2 實現獲取站點信息的爬蟲 264
13.3.3 實現站點處理類 266
13.3.4 實現購票類 267
13.3.5 實現購票功能 280
13.3.6 運行項目 282
13.3.7 優化項目 282
13.4 本章小結 283
展開全部
從零開始學SCRAPY網絡爬蟲(視頻教學版) 作者簡介
張濤 畢業于中國科學技術大學，獲碩士學位。目前在科大訊飛從事人工智能教育培訓與研究。加入科大訊飛之前，曾經在知名日資企業任職研發經理，負責日本大型證券系統的設計與開發。有7年大學課程改革與教學經驗，主要研究方向為Python網絡爬蟲、數據分析和機器學習。
書友推薦
- >
月亮虎
- >
我從未如此眷戀人間
- >
姑媽的寶刀
- >
朝聞道
- >
二體千字文
- >
有舍有得是人生
- >
煙與鏡
- >
自卑與超越
本類暢銷
