爬蟲逆向進(jìn)階實(shí)戰(zhàn) 版權(quán)信息
- ISBN:9787111704522
- 條形碼:9787111704522 ; 978-7-111-70452-2
- 裝幀:一般膠版紙
- 冊數(shù):暫無
- 重量:暫無
- 所屬分類:>
爬蟲逆向進(jìn)階實(shí)戰(zhàn) 內(nèi)容簡介
本書以爬蟲逆向方向的相關(guān)技術(shù)和崗位要求進(jìn)行撰寫,總結(jié)了爬蟲的架構(gòu)體系、主流框架和未來發(fā)展。書中包括各種自動化工具、抓包工具、逆向工具的使用。核心內(nèi)容以Web Js逆向、安卓逆向、小程序逆向?yàn)橹鳎Y(jié)合三十多個實(shí)戰(zhàn)案例進(jìn)行分析,內(nèi)容從易到難,循序漸進(jìn)。另外還對主流的反爬蟲技術(shù)進(jìn)行了講解,包括傳輸協(xié)議、驗(yàn)證碼體系、字符集映射、行為和指紋等。掃描封底二維碼,可獲得反爬蟲補(bǔ)充知識;掃描節(jié)中二維碼,可獲得配套視頻講解知識。 本書適合對爬蟲逆向感興趣,想進(jìn)一步提升自我的程序員參考閱讀。
爬蟲逆向進(jìn)階實(shí)戰(zhàn) 目錄
第1章 網(wǎng)絡(luò)爬蟲架構(gòu)
1.1 爬蟲發(fā)展史
1.2 爬蟲基本架構(gòu)
1.3 分布式爬蟲架構(gòu)
1.3.1 主從分布式
1.3.2 對等分布式
1.4 網(wǎng)絡(luò)爬蟲遍歷策略
1.4.1 廣度優(yōu)先策略
1.4.2 深度優(yōu)先策略
1.4.3 *佳優(yōu)先策略
1.5 智能采集系統(tǒng)架構(gòu)
1.5.1 采集需求分類
1.5.2 頁面智能解析
1.5.3 數(shù)據(jù)管理模塊
第2章 Python爬蟲技巧
2.1 Utils
2.1.1 爬蟲工具包
2.1.2 智能解析庫
2.2 Scrapy
2.2.1 Scrapy架構(gòu)
2.2.2 Scrapy信號
2.2.3 Scrapy異常
2.2.4 Scrapy去重
2.2.5 Scrapy部署
2.2.6 Scrapy監(jiān)控
2.3 Asyncpy
2.3.1 Asyncpy架構(gòu)
2.3.2 Asyncpy安裝
2.3.3 Asyncpy使用
2.4 Feapder
2.4.1 Feapder架構(gòu)
2.4.2 Feapder使用
2.4.3 Feapder部署
2.5 ScrapyRedis
2.5.1 運(yùn)行原理
2.5.2 源碼解析
2.5.3 集群模式
2.6 Scrapy開發(fā)
2.6.1 Scrapy_helper
2.6.2 Webmagicx
2.7 Crawlab
2.7.1 Crawlab架構(gòu)
2.7.2 Crawlab部署
2.8 代理IP工具
2.8.1 Proxy_pool
2.8.2 PyproxyAsync
第3章 Web Js逆向
3.1 逆向基礎(chǔ)
3.1.1 語法基礎(chǔ)
3.1.2 作用域
3.1.3 窗口對象屬性
3.1.4 事件
3.2 瀏覽器控制臺
3.2.1 Network
3.2.2 Sources
3.2.3 Application
3.2.4 Console
3.3 加密參數(shù)定位方法
3.3.1 巧用搜索
3.3.2 堆棧調(diào)試
3.3.3 控制臺調(diào)試
3.3.4 監(jiān)聽XHR
3.3.5 事件監(jiān)聽
3.3.6 添加代碼片
3.3.7 注入和Hook
3.3.8 內(nèi)存漫游
3.3.9 爬蟲逆向進(jìn)階實(shí)戰(zhàn)
3.4 常見的壓縮和混淆
3.4.1 webpack
3.4.2 eval混淆
3.4.3 aa和jj混淆
3.4.4 Jsfuck混淆
3.4.5 OLLVM混淆
3.4.6 soJson加密
3.4.7 lsb隱寫
3.5 常見的編碼和加密
3.5.1 base64
3.5.2 MD5
3.5.3 SHA1
3.5.4 HMAC
3.5.5 DES
3.5.6 AES
3.5.7 RSA
3.6 加密參數(shù)還原與模擬
3.6.1 Virustotal逆向入門案例
3.6.2 Newrank榜單逆向案例
3.6.3 MD5加密逆向案例
3.6.4 RSA參數(shù)加密逆向案例
3.6.5 AES數(shù)據(jù)加密逆向案例
3.6.6 AES鏈接加密逆向案例
3.6.7 CNVD加速樂分析案例
3.7 瀏覽器環(huán)境補(bǔ)充
3.7.1 常被檢測的環(huán)境
3.7.2 手動補(bǔ)充環(huán)境
3.7.3 JSDOM環(huán)境補(bǔ)充
3.7.4 Selenium環(huán)境模擬
3.7.5 puppeteer環(huán)境模擬
3.8 瀏覽器環(huán)境監(jiān)測
3.8.1 Proxyintercept
3.8.2 Objecthook
3.9 加密方法遠(yuǎn)程調(diào)用
3.9.1 微博登錄參數(shù)RPC
3.9.2 抖音直播數(shù)據(jù)RPC
3.9.3 巨量指數(shù)簽名RPC
3.10 常見協(xié)議分析
3.10.1 webSocket協(xié)議
3.10.2 Protobuf協(xié)議
3.11 常見反調(diào)試
3.11.1 無限D(zhuǎn)ebugger
3.11.2 無法打開控制臺
3.11.3 禁用控制臺輸出
3.11.4 蜜罐和內(nèi)存爆破
3.11.5 控制臺狀態(tài)檢測
3.12 調(diào)試工具補(bǔ)充
3.12.1 WTJS調(diào)試工具
3.12.2 發(fā)條JS調(diào)試工具
3.12.3 鬼鬼JS調(diào)試工具
3.13 反混淆AST
3.13.1 節(jié)點(diǎn)類型對照表
3.13.2 節(jié)點(diǎn)屬性和方法
3.13.3 拆解簡單ob混淆
3.13.4 用AST還原代碼
第4章 自動化工具的應(yīng)用
4.1 Selenium
4.1.1 工具簡介
4.1.2 基本操作
4.1.3 調(diào)用JavaScript
4.1.4 采集案例
4.1.5 檢測應(yīng)對
4.2 Pyppeteer
4.2.1 工具簡介
4.2.2 使用方法
4.2.3 檢測應(yīng)對
4.2.4 攔截器
4.3 cefPython3
4.3.1 安裝和使用
4.3.2 瀏覽器配置
4.3.3 客戶端控制
4.3.4 文檔解析
4.3.5 爬蟲實(shí)戰(zhàn)
4.4 Playwright
4.4.1 工具安裝
4.4.2 基本使用
4.4.3 異步任務(wù)
4.4.4 自動錄制
4.5 Appnium
4.5.1 Appnium概念
4.5.2 Appnium配置
4.5.3 Appnium測試
4.6 Airtest
4.6.1 設(shè)備連接
4.6.2 窗口介紹
4.6.3 簡單測試
4.7 Auto.js
4.7.1 工具簡介
4.7.2 使用案例
4.7.3 指數(shù)查詢案例
第5章 抓包工具的應(yīng)用
5.1 Fiddler
5.1.1 Fiddler配置
5.1.2 Fiddler斷點(diǎn)
5.1.3 Fiddler接口調(diào)試
5.1.4 Fiddler替換Js文件
5.1.5 Fiddler保存響應(yīng)內(nèi)容
5.1.6 Fiddler監(jiān)聽webSocket
5.2 Charles
5.2.1 Charles配置
5.2.2 Charles斷點(diǎn)
5.2.3 Charles保存響應(yīng)內(nèi)容
5.2.4 Charles監(jiān)聽webSocket
5.3 MitmProxy
5.3.1 工具介紹
5.3.2 安裝配置
5.3.3 替換瀏覽器Js
5.3.4 公眾號攔截案例
5.3.5 移動端攔截案例
5.4 HTTP AnalyzerStd V7
5.5 HTTP Canary
5.6 Postern
5.6.1 規(guī)則配置
5.6.2 配合抓包
5.7 Drony
5.7.1 工具介紹
5.7.2 配合抓包
5.8 Wireshark
5.8.1 Wireshark介紹
5.8.2 Wireshark技巧
第6章 Android逆向
6.1 Android逆向基礎(chǔ)
6.1.1 APK
6.1.2 DEX
6.1.3 Smali
6.1.4 ARM
6.1.5 Android應(yīng)用啟動過程
6.1.6 逆向通用分析步驟
6.2 Android逆向工具
6.2.1 Android Killer
6.2.2 Jadx
6.2.3 JEB
6.2.4 IDA Pro
6.2.5 MT管理器
6.2.6 NP管理器
6.3 Android Hook工具
6.3.1 Xposed
6.3.2 Frida
6.3.3 Unidbg
6.3.4 Magisk
6.3.5 Tai Chi
6.4 Android混淆和加密
6.4.1 Android混淆技術(shù)
6.4.2 Android加密技術(shù)
6.5 加密參數(shù)定位方法
6.5.1 靜態(tài)分析
6.5.2 動態(tài)分析
6.5.3 日志注入
6.5.4 動態(tài)調(diào)試
6.5.5 技巧補(bǔ)充
6.6 Android加固和脫殼
6.6.1 加固概念
6.6.2 查殼工具
6.6.3 脫殼工具
6.7 常見檢測及繞過
6.7.1 雙進(jìn)程保護(hù)
6.7.2 權(quán)限檢測
6.7.3 調(diào)試端口檢測
6.7.4 進(jìn)程名檢測
6.7.5 系統(tǒng)函數(shù)檢測
6.7.6 執(zhí)行時間檢測
6.8 Android群控和云機(jī)
6.8.1 Android群控
6.8.2 Android云機(jī)
第7章 小程序逆向
7.1 小程序逆向基礎(chǔ)
7.1.1 反編譯流程
7.1.2 反編譯案例
7.2 小程序Hook
7.2.1 邏輯層Hook
7.2.2 渲染層Hook
7.3 小程序逆向分析案例
7.4 Windows小程序逆向
7.4.1 確定包位置
7.4.2 提取wxpkg
第8章 抓包技巧匯總
8.1 證書認(rèn)證
8.1.1 SSL單向認(rèn)證
8.1.2 SSL雙向認(rèn)證
8.2 不走代理
8.3 協(xié)議降級
8.4 自定義協(xié)議
8.4.1 Quic協(xié)議抓包
8.4.2 Spdy協(xié)議抓包
8.5 方法補(bǔ)充
第9章 Android逆向案例
9.1 某新聞加密參數(shù)分析和還原
9.1.1 接口分析
9.1.2 源碼分析
9.1.3 動態(tài)分析
9.1.4 加密還原
9.2 某App簽名Frida還原
9.2.1 接口分析
9.2.2 反編譯App
9.2.3 靜態(tài)分析參數(shù)
9.2.4 動態(tài)獲取簽名
9.2.5 加密算法還原
9.3 某App加密參數(shù)Xposed調(diào)用
9.3.1 靜態(tài)分析源碼
9.3.2 編寫Hook腳本
9.3.3 搭建http服務(wù)
9.4 某App參數(shù)Frida+Flask RPC
9.4.1 反編譯APK
9.4.2 靜態(tài)分析Sig
9.4.3 調(diào)試和RPC
9.4.4 搭建Flask服務(wù)
9.5 某App加密參數(shù)Unidbg生成
9.5.1 接口分析
9.5.2 Frida調(diào)試
9.5.3 Unidbg調(diào)用
9.5.4 Unidbg補(bǔ)環(huán)境
9.5.5 Web服務(wù)搭建
9.6 某資訊加固脫殼和參數(shù)分析
9.6.1 抓包分析接口
9.6.23 60加固脫殼和反編譯
9.6.3 源碼靜態(tài)分析
9.6.4 通過Hook調(diào)用
9.7 某新聞加固脫殼和參數(shù)分析
9.7.1 抓包分析接口
9.7.2 騰訊加固脫殼和反編譯
9.7.3 源碼靜態(tài)分析
9.7.4 so文件分析
9.7.5 Frida動態(tài)調(diào)試
9.7.6 加密算法還原
9.8 某監(jiān)管Root檢測繞過
9.8.1 梆梆加固脫殼和反編譯
9.8.2 源碼靜態(tài)分析
9.8.3 Frida繞過Root檢測
第10章 驗(yàn)證碼識別技術(shù)
10.1 圖文驗(yàn)證碼
10.1.1 利用開源庫識別
10.1.2 驗(yàn)證碼圖像處理
10.1.3 機(jī)器學(xué)習(xí)識別驗(yàn)證碼
10.1.4 深度學(xué)習(xí)識別驗(yàn)證碼
10.2 滑塊驗(yàn)證碼
10.2.1 郵箱滑塊驗(yàn)證碼
10.2.2 數(shù)美滑塊驗(yàn)證碼
10.2.3 極驗(yàn)滑塊驗(yàn)證碼
10.2.4 利用AI平臺識別缺口
10.3 點(diǎn)選驗(yàn)證碼
10.4 短信驗(yàn)證碼
10.4.1 Xposed攔截短信
10.4.2 GsmModem接收短信
10.4.3 太極驗(yàn)證碼提取器
10.4.4 批量短信處理
爬蟲逆向進(jìn)階實(shí)戰(zhàn) 作者簡介
作者簡介 李璽,就職于中科大數(shù)據(jù)研究院。深耕爬蟲逆向方向,擁有豐富的經(jīng)驗(yàn)和精湛的技巧。作者是CSDN博客專家,爬蟲逆向社區(qū)站長,曾榮獲CSDN首屆GEEK+原創(chuàng)大賽一等獎、2019-2021年博客之星。擁有爬蟲領(lǐng)域發(fā)明專利,新工科大數(shù)據(jù)技術(shù)能力認(rèn)證,也是河南省中原科技城E類人才。 作者在CSDN、51CTO、OSCHINA(開源中國)、思否、微信公眾號等平臺都有推文,閱讀量超百萬,并維護(hù)著爬蟲逆向萬人社區(qū)。
- >
中國人在烏蘇里邊疆區(qū):歷史與人類學(xué)概述
- >
有舍有得是人生
- >
小考拉的故事-套裝共3冊
- >
隨園食單
- >
二體千字文
- >
詩經(jīng)-先民的歌唱
- >
月亮與六便士
- >
回憶愛瑪儂