做爬蟲工作的伙伴都知道，不同的網站有不同的防爬策略，我們需要具體情況具體分析，制定相應的爬蟲策略。雖然爬蟲策略有千萬種，但一般網站基本上是從用戶請求的頭部、用戶訪問行為、網站目錄、數據加載方式三個方面來對抗爬蟲的。下面是精靈ip代理帶我們來分析一下。

 

 

一.用戶請求的標題

 

根據用戶請求的標題反爬蟲是最常見的反爬蟲策略。很多網站會檢測到headers的User-Agent，也有一些網站會檢測到Referer(有些資源網站的防盜鏈就是檢測Referer)等。

 

標頭的反爬網策略通常很容易處理。比如針對用戶代理的反爬策略，我們可以收集很多用戶代理，然后隨機調用。還可以很好地處理Referer值的反爬網策略，并且可以將值更改為目標網站的域名。

 

二、用戶訪問行為

 

大多數網站從用戶的訪問行為出發制定反爬蟲策略，畢竟會直接加載服務器。一般從兩個方面來判斷:一是同一IP短時間內多次訪問同一頁面，二是同一賬號短時間內多次執行同一操作。

 

第一種情況不難處理，可以選擇使用代理IP來解決。比如站內elf代理的短期優質代理，一手私有代理，專屬IP池都可以很好的完成工作。

 

第二章的情況也可以處理好。在每個請求之后，下一個請求以幾秒鐘的隨機間隔發出。為什么要隨機？因為不規則休眠更符合真實用戶的訪問行為。

 

三.數據加載模式

 

我們知道，網站界面大部分都是靜態頁面(即在瀏覽器中可以看到源代碼)，但網站中的部分數據是后期通過ajax請求(或push技術等其他方法)獲取的，對于爬蟲來說比較麻煩。

 

解決方案:首先，用Firebug或Fiddler分析網絡請求。找到ajax的請求url，用Python模擬請求得到需要的數據。但是，有些網站已經加密了ajax請求的所有參數，所以我們只能使用動態呈現頁面信息來抓取。推薦閱讀:4個驗證代理ip有效性的API接口

 

這是網站上最常見的三種高級防爬策略，當然還有一些其他的防爬策略，比如驗證碼等。，這就需要爬蟲工程師根據實際情況制定爬蟲策略。