如何給自己搭建一個穩(wěn)定的動態(tài)ip池!

在這篇文章之前,很多人應該看過很多關于建立代理ip池的文章,然后發(fā)現(xiàn)都是坑,不能用。多說點。
 
 
不說第一種方法,真的有好幾個代理IPs(別問我誰的好,我不知道,我寫這篇文章是為了推廣我自己寫的項目)。
 
 
 
第二,github上的這類項目已經(jīng)出海了,而且大部分都是,你建好之后,發(fā)現(xiàn)爬蟲還是爬不動,免費的代理ip根本用不上!好一點的haipproxy,我也用過,但是沒有解決根本問題!大多數(shù)ip故障太快!而各種錯誤,爬十頁,能成功就是燒香。
 
 
 
那么,為什么免費代理ip不起作用呢?很多人也問,那些ip代理真的有那么多IP嗎?
 
 
 
實際上,很多免費的代理IP被掃描出來,掃描IP段、端口和特征碼。發(fā)現(xiàn)可以用的,也就是代理ip。
 
 
 
代理ip不容易使用,這一般是由于以下原因:1。掃描的代理ip是臨時的;2.訪問量太大,服務器死了;3.原來不是代理IP;4.有認證;5.它本來就是http的代理,你用它來訪問https,當然不行!6.代理異常,連接中斷,帶寬被污染,并返回錯誤。
 
 
 
如果不想花錢,只能自己找一個穩(wěn)定的代理ip,然后使用。而總代理池,他們都是用百度、知乎、豆瓣的網(wǎng)站訪問,說明可以用,但是失敗了。最多加個分算點什么。
 
 
 
之前看過haipproxy的代碼,成功率高的話還得自己寫驗證。說白了就是在爬蟲使用之前,盡量去訪問,提高成功率。我覺得意義不大。
 
 
 
以上都是廢話,以下是主要的。事實上,一些免費的代理ip是非常穩(wěn)定的代理服務器,所以這些服務器可以使用很長時間。
 
 
 
在我抓取的免費代理ip中,過濾后剩余ip的訪問成功率基本為90%+。
 
 
 
首先,其實最簡單的方法就是根據(jù)服務器的開放端口來判斷。如果服務器有80、3389、3306、22等開放端口,說明服務器上還有其他服務在運行,掛機的概率很小。如果是政府或者學校的服務器,就更穩(wěn)定了。當然,也可以開放其他端口。
 
 
 
第二,是判斷服務器的訪問速度,需要訪問幾個不同的網(wǎng)站才能得到平均值,這樣訪問速度相對穩(wěn)定。
 
 
 
第三,代理ip的壽命越長,越穩(wěn)定。當然,這是在你構(gòu)建和抓取它之后計算出來的。
 
 
 
第四,重新檢測代理類型。通過訪問不同的http和https網(wǎng)站,判斷代理是http還是https,并進行劃分。訪問http網(wǎng)站時使用http的代理,https的代理為https訪問提供服務,可以提高訪問概率。
 
 
 
因此,根據(jù)這幾點,我重寫了一套代理ip池項目。目前我抓取ip 450,長期穩(wěn)定的ip在6左右。雖然很少,但相當穩(wěn)定。
 
主站蜘蛛池模板: 再深点灬舒服了灬太大| 国产日韩欧美成人| 一本久道久久综合| 视频一区视频二区制服丝袜| 妖精色AV无码国产在线看| 亚洲精品国产精品乱码不99| 美国式的禁忌19| 国产交换配乱婬视频| 精品一区二区视频在线观看| 国产精品麻豆免费版| jizz免费观看| 怡红院一区二区在线观看| 久久99国产乱子伦精品免费| 日韩电影免费在线观看视频| 人妻人人澡人人添人人爽| 高潮毛片无遮挡高清免费| 国产精品冒白浆免费视频| 中文字幕一区二区三区久久网站 | 午夜时刻免费实验区观看| 蜜臀av性久久久久蜜臀aⅴ麻豆| 国产成人综合野草| 亚洲人成网站看在线播放| 国产精品日日爱| 91欧美激情一区二区三区成人| 天天干夜夜夜操| 久久久无码精品亚洲日韩蜜桃| 日韩高清在线高清免费| 亚洲福利电影在线观看| 狠狠色成人综合首页| 免费国产污网站在线观看| 精品国偷自产在线视频| 国产大片b站免费观看直播| 四虎最新永久免费视频| 在线视频你懂的国产福利| www国产无套内射com| 日本大片在线播放在线| 久久精品aⅴ无码中文字字幕重口| 最新版天堂中文在线官网| 亚洲一级毛片视频| 男人边摸边吃奶边做下面| 公洗澡时强要了|