第一種方法是程序掃描代理。
通過程序掃描IP段,或者通過時間端口找到臨時代理。
比如百度搜索“IP代理”、“爬蟲代理”。你搜索后會出現(xiàn)很多代理,
基本上每家都會有免費檢測,或者檢測的費用很便宜。想買的話可以自己選。有一款性價比更高。
2)ADSL撥號服務(wù)器
ADSL撥號,斷網(wǎng),重連,IP切換,這幾類一般淘寶都有賣,限制區(qū)域和全國撥號都有。穩(wěn)定性還是比較OK的。
所以如果每次訪問都切一次IP,效率會很慢,只能在當(dāng)前IP被對方封禁掉線的情況下再撥新IP。
ADSL撥號可以應(yīng)付收藏,刷卡訪問,刷卡點擊等。,這需要低效率。
3)自建機(jī)構(gòu)
買個服務(wù)器,用squid+stunnel搭建一個HTTP高隱藏代理服務(wù)器。Tinyproxy就行。Squit用于實現(xiàn)http代理,stunnel在代理的基礎(chǔ)上搭建隧道實現(xiàn)加密。
如果需要大量的IP,可以購買更多的機(jī)器服務(wù)器,依次配置squid。
自建代理都是獨家真實IP,所以穩(wěn)定性很好。一切都很穩(wěn)定。收藏、搶購、刷票、刷點擊、刷主播人氣等。可以做到。
但是,這需要花費很多精力,因為需要維護(hù)IP代理池。
4)自建代理服務(wù)商
如果以上方法不符合你的用法,只能找商家,打開api端口。
如果你懶得自己做上面的方法也沒關(guān)系。找個做類似服務(wù)的商家,開個api口。
5)第三方訪問
比如通過Google網(wǎng)頁翻譯、有道網(wǎng)頁翻譯、http代理瀏覽器等第三方訪問渠道請求目標(biāo)網(wǎng)頁。
速度慢,采集抓取的目標(biāo)內(nèi)容時干擾多。