中圖網小程序
一鍵登錄
更方便
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
買過本商品的人還買了
精通Python爬蟲框架Scrapy 版權信息
- ISBN：9787115474209
- 條形碼：9787115474209 ; 978-7-115-47420-9
- 裝幀：一般膠版紙
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
精通Python爬蟲框架Scrapy 本書特色
Scrapy是使用Python開發的一個快速、高層次的屏幕抓取和Web抓取框架，用于抓Web站點并從頁面中提取結構化的數據。《精通Python爬蟲框架Scrapy》以Scrapy 1.0版本為基礎，講解了Scrapy的基礎知識，以及如何使用Python和三方API提取、整理數據，以滿足自己的需求。 本書共11章，其內容涵蓋了Scrapy基礎知識，理解HTML和XPath，安裝Scrapy并爬取一個網站，使用爬蟲填充數據庫并輸出到移動應用中，爬蟲的強大功能，將爬蟲部署到Scrapinghub云服務器，Scrapy的配置與管理，Scrapy編程，管道秘訣，理解Scrapy性能，使用Scrapyd與實時分析進行分布式爬取。本書附錄還提供了各種軟件的安裝與故障排除等內容。 本書適合軟件開發人員、數據科學家，以及對自然語言處理和機器學習感興趣的人閱讀。
精通Python爬蟲框架Scrapy 內容簡介
Scrapy是一個開源的Python爬蟲框架，可以用來輕松提取從頁面數據。Scrapy帶有豐富的特性，可通過簡單的編碼或配置來訪問，從而可以節省開發人員數周的開發時間，并高效地提取所需數據。Scrapy有一個高度活躍且迅速增長的社區，而且已經成為黑客、創業者和Web爬取專家的首 選框架。 本書講解了Scrapy的基礎知識，討論了如何從任意源提取數據，如何清理數據，以及如何使用Python和第三方API進行處理，以滿足自身需求。本書還講解了如何將爬取的數據高效地饋入數據庫、搜索引擎和流數據處理系統（比如Apache Spark）。在學習完本書后，你將對數據爬取胸有成竹，并將數據應用在自己的應用程序中。 本書內容： 使用HTML和Xpath提取所需的數據； 使用Python編寫Scrapy爬蟲，并在網絡上進行爬取操作； 將數據推送到任意數據庫、搜搜引擎或分析系統的方法； 配置爬蟲，使其下載文件和圖形，以及使用代理； 創建用來限流數據的高效管道； 使用Twitsted實踐驅動的API并發處理數百個Item； 讓爬蟲更快速，讓內存使用率更高，以及對Scrapy性能進行調優的技巧； 使用Scrapyd和Scrapinghub執行大規模分布式爬取操作的方法。
精通Python爬蟲框架Scrapy 目錄
第 1章 Scrapy簡介1
1.1 初識Scrapy1
1.2 喜歡Scrapy的更多理由2
1.3 關于本書：目標和用途3
1.4 掌握自動化數據爬取的重要性4
1.4.1 開發健壯且高質量的應用，并提供合理規劃4
1.4.2 快速開發高質量可行產品5
1.4.3 Google不會使用表單，爬取才能擴大規模6
1.4.4 發現并融入你的生態系統7
1.5 在充滿爬蟲的世界里做一個好公民7
1.6 Scrapy不是什么8
1.7 本章小結9
第 2章 理解HTML和XPath10
2.1 HTML、DOM樹表示以及XPath10
2.1.1 URL11
2.1.2 HTML文檔11
2.1.3 樹表示法13
2.1.4 你會在屏幕上看到什么14
2.2 使用XPath選擇HTML元素15
2.2.1 有用的XPath表達式16
2.2.2 使用Chrome獲取XPath表達式19
2.2.3 常見任務示例20
2.2.4 預見變化21
2.3 本章小結22
第3章 爬蟲基礎23
3.1 安裝Scrapy24
3.1.1 MacOS24
3.1.2 Windows25
3.1.3 Linux25
3.1.4 新源碼安裝26
3.1.5 升級Scrapy26
3.1.6 Vagrant：本書中運行示例的官方方式27
3.2 UR2IM——基本抓取流程28
3.2.1 URL29
3.2.2 請求和響應31
3.2.3 Item31
3.3 一個Scrapy項目37
3.3.1 聲明item38
3.3.2 編寫爬蟲40
3.3.3 填充item43
3.3.4 保存文件45
3.3.5 清理——item裝載器與管理字段47
3.3.6 創建contract50
3.4 抽取更多的URL53
3.4.1 使用爬蟲實現雙向爬取56
3.4.2 使用CrawlSpider實現雙向爬取59
3.5 本章小結61
第4章 從Scrapy到移動應用62
4.1 選擇手機應用框架62
4.2 創建數據庫和集合63
4.3 使用Scrapy填充數據庫65
4.4 創建手機應用68
4.4.1 創建數據庫訪問服務69
4.4.2 創建用戶界面69
4.4.3 將數據映射到用戶界面70
4.4.4 數據庫字段與用戶界面控件間映射71
4.4.5 測試、分享及導出你的手機應用72
4.5 本章小結73
第5章 迅速的爬蟲技巧75
5.1 需要登錄的爬蟲75
5.2 使用JSON API和AJAX頁面的爬蟲81
5.3 30倍速的房產爬蟲85
5.4 基于Excel文件爬取的爬蟲90
5.5 本章小結93
第6章 部署到Scrapinghub94
6.1 注冊、登錄及創建項目94
6.2 部署爬蟲與計劃運行96
6.3 訪問item99
6.4 計劃定時爬取100
6.5 本章小結101
第7章 配置與管理102
7.1 使用Scrapy設置102
7.2 基本設置103
7.2.1 分析104
7.2.2 性能107
7.2.3 提前終止爬取108
7.2.4 HTTP緩存和離線運行108
7.2.5 爬取風格109
7.2.6 feed110
7.2.7 媒體下載111
7.2.8 Amazon Web服務113
7.2.9 使用代理和爬蟲113
7.3 進階設置114
7.3.1 項目相關設置115
7.3.2 Scrapy擴展設置116
7.3.3 下載調優116
7.3.4 自動限速擴展設置117
7.3.5 內存使用擴展設置117
7.3.6 日志和調試117
7.4 本章小結118
第8章 Scrapy編程119
8.1 Scrapy是一個Twisted應用119
8.1.1 延遲和延遲鏈122
8.1.2 理解Twisted和非阻塞I O——一個Python故事125
8.2 Scrapy架構概述132
8.3 示例1：非常簡單的管道135
8.4 信號136
8.5 示例2：測量吞吐量和延時的擴展138
8.6 中間件延伸141
8.7 本章小結144
第9章 管道秘訣145
9.1 使用REST API146
9.1.1 使用treq146
9.1.2 用于寫入Elasticsearch的管道146
9.1.3 使用Google Geocoding API實現地理編碼的管道149
9.1.4 在Elasticsearch中啟用地理編碼索引156
9.2 與標準Python客戶端建立數據庫接口157
9.3 使用Twisted專用客戶端建立服務接口161
9.4 為CPU密集型、阻塞或遺留功能建立接口166
9.4.1 處理CPU密集型或阻塞操作的管道166
9.4.2 使用二進制或腳本的管道168
9.5 本章小結172
第 10章 理解Scrapy性能173
10.1 Scrapy引擎——一種直觀方式173
10.1.1 級聯隊列系統175
10.1.2 定義瓶頸176
10.1.3 Scrapy性能模型176
10.2 使用telnet獲得組件利用率178
10.3 基準系統180
10.4 標準性能模型182
10.5 解決性能問題185
10.5.1 案例 #1：CPU飽和185
10.5.2 案例 #2：代碼阻塞187
10.5.3 案例 #3：下載器中的“垃圾”188
10.5.4 案例 #4：大量響應或超長響應造成的溢出191
10.5.5 案例 #5：有限 過度item并發造成的溢出193
10.5.6 案例 #6：下載器未充分利用194
10.6 故障排除流程197
10.7 本章小結198
第 11章 使用Scrapyd與實時分析進行分布式爬取199
11.1 房產的標題是如何影響價格的200
11.2 Scrapyd200
11.3 分布式系統概述203
11.4 爬蟲和中間件的變化205
11.4.1 索引頁分片爬取205
11.4.2 分批爬取URL207
11.4.3 從設置中獲取初始URL211
11.4.4 在Scrapyd服務器中部署項目213
11.5 創建自定義監控命令215
11.6 使用Apache Spark流計算偏移量216
11.7 運行分布式爬取218
11.8 系統性能220
11.9 關鍵要點221
11.10 本章小結221
附錄A 軟件的安裝與故障排除222
1.1 初識Scrapy1
1.2 喜歡Scrapy的更多理由2
1.3 關于本書：目標和用途3
1.4 掌握自動化數據爬取的重要性4
1.4.1 開發健壯且高質量的應用，并提供合理規劃4
1.4.2 快速開發高質量可行產品5
1.4.3 Google不會使用表單，爬取才能擴大規模6
1.4.4 發現并融入你的生態系統7
1.5 在充滿爬蟲的世界里做一個好公民7
1.6 Scrapy不是什么8
1.7 本章小結9
第 2章 理解HTML和XPath10
2.1 HTML、DOM樹表示以及XPath10
2.1.1 URL11
2.1.2 HTML文檔11
2.1.3 樹表示法13
2.1.4 你會在屏幕上看到什么14
2.2 使用XPath選擇HTML元素15
2.2.1 有用的XPath表達式16
2.2.2 使用Chrome獲取XPath表達式19
2.2.3 常見任務示例20
2.2.4 預見變化21
2.3 本章小結22
第3章 爬蟲基礎23
3.1 安裝Scrapy24
3.1.1 MacOS24
3.1.2 Windows25
3.1.3 Linux25
3.1.4 新源碼安裝26
3.1.5 升級Scrapy26
3.1.6 Vagrant：本書中運行示例的官方方式27
3.2 UR2IM——基本抓取流程28
3.2.1 URL29
3.2.2 請求和響應31
3.2.3 Item31
3.3 一個Scrapy項目37
3.3.1 聲明item38
3.3.2 編寫爬蟲40
3.3.3 填充item43
3.3.4 保存文件45
3.3.5 清理——item裝載器與管理字段47
3.3.6 創建contract50
3.4 抽取更多的URL53
3.4.1 使用爬蟲實現雙向爬取56
3.4.2 使用CrawlSpider實現雙向爬取59
3.5 本章小結61
第4章 從Scrapy到移動應用62
4.1 選擇手機應用框架62
4.2 創建數據庫和集合63
4.3 使用Scrapy填充數據庫65
4.4 創建手機應用68
4.4.1 創建數據庫訪問服務69
4.4.2 創建用戶界面69
4.4.3 將數據映射到用戶界面70
4.4.4 數據庫字段與用戶界面控件間映射71
4.4.5 測試、分享及導出你的手機應用72
4.5 本章小結73
第5章 迅速的爬蟲技巧75
5.1 需要登錄的爬蟲75
5.2 使用JSON API和AJAX頁面的爬蟲81
5.3 30倍速的房產爬蟲85
5.4 基于Excel文件爬取的爬蟲90
5.5 本章小結93
第6章 部署到Scrapinghub94
6.1 注冊、登錄及創建項目94
6.2 部署爬蟲與計劃運行96
6.3 訪問item99
6.4 計劃定時爬取100
6.5 本章小結101
第7章 配置與管理102
7.1 使用Scrapy設置102
7.2 基本設置103
7.2.1 分析104
7.2.2 性能107
7.2.3 提前終止爬取108
7.2.4 HTTP緩存和離線運行108
7.2.5 爬取風格109
7.2.6 feed110
7.2.7 媒體下載111
7.2.8 Amazon Web服務113
7.2.9 使用代理和爬蟲113
7.3 進階設置114
7.3.1 項目相關設置115
7.3.2 Scrapy擴展設置116
7.3.3 下載調優116
7.3.4 自動限速擴展設置117
7.3.5 內存使用擴展設置117
7.3.6 日志和調試117
7.4 本章小結118
第8章 Scrapy編程119
8.1 Scrapy是一個Twisted應用119
8.1.1 延遲和延遲鏈122
8.1.2 理解Twisted和非阻塞I O——一個Python故事125
8.2 Scrapy架構概述132
8.3 示例1：非常簡單的管道135
8.4 信號136
8.5 示例2：測量吞吐量和延時的擴展138
8.6 中間件延伸141
8.7 本章小結144
第9章 管道秘訣145
9.1 使用REST API146
9.1.1 使用treq146
9.1.2 用于寫入Elasticsearch的管道146
9.1.3 使用Google Geocoding API實現地理編碼的管道149
9.1.4 在Elasticsearch中啟用地理編碼索引156
9.2 與標準Python客戶端建立數據庫接口157
9.3 使用Twisted專用客戶端建立服務接口161
9.4 為CPU密集型、阻塞或遺留功能建立接口166
9.4.1 處理CPU密集型或阻塞操作的管道166
9.4.2 使用二進制或腳本的管道168
9.5 本章小結172
第 10章 理解Scrapy性能173
10.1 Scrapy引擎——一種直觀方式173
10.1.1 級聯隊列系統175
10.1.2 定義瓶頸176
10.1.3 Scrapy性能模型176
10.2 使用telnet獲得組件利用率178
10.3 基準系統180
10.4 標準性能模型182
10.5 解決性能問題185
10.5.1 案例 #1：CPU飽和185
10.5.2 案例 #2：代碼阻塞187
10.5.3 案例 #3：下載器中的“垃圾”188
10.5.4 案例 #4：大量響應或超長響應造成的溢出191
10.5.5 案例 #5：有限 過度item并發造成的溢出193
10.5.6 案例 #6：下載器未充分利用194
10.6 故障排除流程197
10.7 本章小結198
第 11章 使用Scrapyd與實時分析進行分布式爬取199
11.1 房產的標題是如何影響價格的200
11.2 Scrapyd200
11.3 分布式系統概述203
11.4 爬蟲和中間件的變化205
11.4.1 索引頁分片爬取205
11.4.2 分批爬取URL207
11.4.3 從設置中獲取初始URL211
11.4.4 在Scrapyd服務器中部署項目213
11.5 創建自定義監控命令215
11.6 使用Apache Spark流計算偏移量216
11.7 運行分布式爬取218
11.8 系統性能220
11.9 關鍵要點221
11.10 本章小結221
附錄A 軟件的安裝與故障排除222
展開全部
精通Python爬蟲框架Scrapy 作者簡介
Dimitrios Kouzis-Loukas作為一位軟件開發人員，已經擁有超過15年的經驗。同時，他還使用自己掌握的知識和技能，向廣大讀者講授如何編寫軟件。 他學習并掌握了多門學科，包括數學、物理學以及微電子學。他對這些學科的透徹理解，提高了自身的標準，而不只是“實用的解決方案”。他知道真正的解決方案應當是像物理學規律一樣確定，像ECC內存一樣健壯，像數學一樣通用。 Dimitrios目前正在使用新的數據中心技術開發低延遲、高可用的分布式系統。他是語言無關論者，不過對Python、C 和Java略有偏好。他對開源軟硬件有著堅定的信念，他希望他的貢獻能夠造福于各個社區和全人類。 關于譯者 李斌，畢業于北京科技大學計算機科學與技術專業，獲得碩士學位。曾任職于阿里巴巴，當前供職于凡普金科，負責應用安全工作。熱愛Python編程和Web安全，希望以更加智能和自動化的方式提升網絡安全。
書友推薦
- >
姑媽的寶刀
- >
史學評論
- >
朝聞道
- >
山海經
- >
有舍有得是人生
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
- >
苦雨齋序跋文-周作人自編集
- >
伯納黛特,你要去哪(2021新版)
本類暢銷
