IP模擬器
如何寫爬蟲可以暢通無阻？很多朋友問，能不能寫出一個可以一直暢通無阻工作的爬蟲？這很難，但是可以朝著這個目標去做。通過實施一些小策略，你可以讓你的網絡爬蟲活得更久。
一.用戶代理
用戶代理(User agent)又稱用戶代理(User-Agent)，是用戶訪問的工具，告訴服務器用戶正在使用哪些web瀏覽器訪問網站。如果沒有設置用戶代理，很多網站都不會讓你查看內容。如果您正在使用rquests庫，您可以執行以下操作:
如果你已經有了一些用戶代理，你如何使用它們？那么，最好的方法是從文本文件、數據庫和Python列表中隨機選擇一個用戶代理來使用。
第二，推薦人
當瀏覽器訪問一個網頁時，默認會向服務器發送一個GET請求，其中會包含很多HTTP頭。的屬性之一是Http Referres用于標記訪問鏈接的來源。
如果想抓取各個產品頁面，可以在引用中設置相關類目的網址，也可以找到想要抓取的域名的反向鏈接。
第三，代理IP
代理IP的重要性不言而喻，高效穩定的代理IP是保證爬蟲持續工作的前提。反爬蟲策略往往限制單個IP可以訪問網站的頻率和次數。必須使用多個代理IP，避免被限制，提高工作效率。這里推薦短期優質代理IP和IP模擬器代理一手私人代理。
第四，睡眠延遲
在請求之間放一些延遲總是好的，睡眠時間要隨機無規律，以免被識別為爬蟲。您可以使用numpy.random.choice()來實現這一點，它將在您想要延遲的服務中傳遞一個隨機數列表:
也許沒有爬蟲可以一直暢通無阻的工作，但是你總是可以采取一些措施讓爬蟲盡可能長時間的工作。不同的網站有不同的策略，可能會不斷調整升級，所以爬蟲策略也需要不斷升級，才能持續穩定的工作。
