談談使用爬蟲時限制ip的六種方法
在抓取的時候，不可避免的會遇到網頁的反抓取封鎖，于是就有了抓取攻擊和防御，兩種力量在攻擊和防御之間不斷較量。讓下面我們來談談使用爬蟲時限制ip的六種方法！
1.IP必須是必需的。如果可能，建議使用代理IP。
2.在具有外部IP的計算機上部署crawler代理服務器。
3.您的程序使用循環訓練而不是代理服務器來訪問您想要收集的網站。
好處:
1.程序邏輯變化不大，只需要代理函數。
2.根據其他網站不同的屏蔽規則，你只需要多加幾個代理就可以了。
3.即使某個特定IP被屏蔽，也可以直接注銷代理服務器到OK，程序邏輯不需要改變。
1.ADSL腳本，監控是否被屏蔽，然后不斷切換ip。
2.設置查詢頻率限制
正統的方式是調用這個網站提供的服務接口。
1.用戶代理偽裝和輪換
2.使用代理ip和環路
3.Cookies處理，部分網站對用戶登錄政策寬松。
盡可能模擬用戶行為:
1.用戶代理經常變化。
2.將訪問間隔設置得更長，并將訪問時間設置為一個隨機數；
3.訪問頁面的順序也可以是隨機的。
網站屏蔽的依據一般是特定IP單位時間的訪問量。我會把收集的任務按照目標站點的IP分組，控制每個IP單位時間發送的任務數量，避免阻塞。當然這個前提是你收集了很多網站。如果只收藏一個網站，就只能通過多個外部IP來實現。
爬蟲的壓力控制；考慮使用代理來訪問目標站點。
1.減少抓取的頻率，設置更長的時間，訪問時間使用隨機數。
2.用戶代理的頻繁切換(模擬瀏覽器訪問)
3.多頁數據，隨機訪問然后抓取數據。
4.更改用戶IP
精靈IP代理為您提供安全、穩定、高效、便捷的爬蟲代理地址服務，在提供高低代理IP資源的同時，還可以設置不同類型的IP代理，設置去重標準。
