IP模擬器

解決http爬蟲被封為代理ip的七種方法！之前有個鄰居家的孩子想上學。因為沒考上重點，成績也不算太低，他打算去一個好點的私立高中。家長不知道哪所學校的口碑和往年的成績會更好。于是，他找我一個做數據的朋友分析數據，于是也學到了一些經驗。

 

動態IP模擬器

 

1.方法。

 

無論你想收藏什么樣的網站，http代理ip都是必須的，但是需要注意的是一定要用國內的代理ip，可以直接從ip在線代理地址購買。但是一定要靠譜。這樣做的優點是:

 

第一，程序邏輯變化小，只需要代理函數。

 

第二，可以根據對方網站不同的屏蔽規則購買不同的ip代理。

 

第三，假設你目前使用的代理ip被對方網站屏蔽，你可以在不改變程序邏輯的情況下更改IP。

 

2.方法。

 

少數網站防范措施薄弱。你可以偽裝從代理IP服務提供商那里買的IP，修改X-Forwarded-for，可以繞過。

 

大部分網站，如果要經常抓取，通常需要更多的IP。我的首選方案是直接購買飛蟻動態轉發的HTTP代理ip。

 

3.方法。

 

ADSL+腳本，監控是否被屏蔽，然后連續切換ip。

 

設置查詢頻率限制

 

正統的方式是調用這個網站提供的服務接口。

 

4.方法。

 

1用戶代理偽裝和輪換

 

2使用代理ip和輪換

 

3 cookies處理，有些網站對登錄用戶的政策比較寬松。

 

友情提示:考慮爬蟲在別人網站的負擔，做一個負責任的爬蟲？？

 

5.方法。

 

盡可能模擬用戶行為:

 

1.用戶代理經常改變；

 

2.設置較長的訪問時間間隔，并將訪問時間設置為隨機數；

 

3.訪問頁面的順序也可以是隨機的。

 

6.方法。

 

網站關閉的依據一般是單位時間內特定IP的訪問量。

 

我把收集的任務按照目標站點的IP分組，通過控制每個IP單位時間發送的任務數量來避免被阻塞。當然這個前提是你收集了很多網站。如果只收藏一個網站，只能靠多個外部IP來實現。

 

7.方法。

 

1.爬行動物爬行的壓力控制；

 

2.考慮使用代理來訪問目標站點。

 

總結:

 

-減少抓取動態ip地址的替換頻率，設置時間更長，訪問時間使用隨機數。

 

-頻繁切換用戶代理(模擬瀏覽器訪問)

 

-多頁數據，隨機訪問然后抓取數據。

 

-不斷更換代理IP