IP模擬器
隨著手機(jī)的普及，app越來(lái)越多，很多行業(yè)甚至都開(kāi)始專(zhuān)注于app的開(kāi)發(fā)，所以用爬蟲(chóng)來(lái)爬app是順理成章的。 目前國(guó)內(nèi)大部分人都使用安卓手機(jī)，那么從安卓應(yīng)用中抓取數(shù)據(jù)的方法有哪些呢？
1。 下載并設(shè)置fiddler抓包工具
Fiddler是一個(gè)http協(xié)議調(diào)試代理工具，它可以記錄和檢查你的電腦和互聯(lián)網(wǎng)之間的所有http通信，設(shè)置斷點(diǎn)，查看所有“進(jìn)出”Fiddler 數(shù)據(jù)（指cookies、html、js、css等文件）。
打開(kāi)下載的fiddler，進(jìn)行設(shè)置，找到Tools -> Options，然后在HTTPS工具欄下勾選Decrpt HTTPS traffic，在彈出的選項(xiàng)欄下勾選Ignore server certificate errors。
設(shè)置允許外部設(shè)備向fiddler發(fā)送HTTP/HTTPS
動(dòng)態(tài)IP模擬器
同理，在Connections選項(xiàng)欄下勾選Allow remote computer to connect，并使 備注住上面的端口號(hào)8888，后面會(huì)用到。
2。 手機(jī)設(shè)置
為手機(jī)設(shè)置代理，前提是電腦和手機(jī)需要在同一個(gè)網(wǎng)絡(luò)下操作，比如使用wifi或者熱點(diǎn)。
反爬的方法有很多，比如在一定時(shí)間段內(nèi)對(duì)頻繁訪問(wèn)的IP阻塞接口（會(huì)誤殺），這是一個(gè)很好的方法 繞過(guò)代理IP池的使用 這是可以避免的。
3。 下載Fiddler的安全證書(shū)
用安卓手機(jī)瀏覽器打開(kāi)：http://192.168.1.96:8888，點(diǎn)擊“FiddlerRoot證書(shū)”，安裝證書(shū)。
4。 測(cè)試效果，打開(kāi)一個(gè)app
返回200，表示已經(jīng)發(fā)送請(qǐng)求，成功接收到響應(yīng)。 這樣就成功抓到了安卓手機(jī)終端的數(shù)據(jù)包。
以上詳細(xì)說(shuō)明了Android app的數(shù)據(jù)抓取方法。 相比web端，app端的數(shù)據(jù)其實(shí)更容易抓取，反爬蟲(chóng)也沒(méi)有那么強(qiáng)。 它們中的大多數(shù)也是 http/https 協(xié)議。 可以根據(jù)流程抓取測(cè)試數(shù)據(jù)，如果要獲取ios數(shù)據(jù)也可以使用此方法。
