做爬蟲(chóng)工作的伙伴都知道，不同的網(wǎng)站有不同的反爬蟲(chóng)策略，需要具體情況具體分析，制定相應(yīng)的爬蟲(chóng)策略。雖然爬蟲(chóng)策略有上千萬(wàn)種，但一般網(wǎng)站基本都是向用戶請(qǐng)求頭部、用戶訪問(wèn)行為、網(wǎng)站目錄、數(shù)據(jù)加載模式打擊爬蟲(chóng)的三個(gè)方面，下面是精靈ip代理帶我們分析一下。

一、用戶請(qǐng)求的標(biāo)題

根據(jù)用戶請(qǐng)求的標(biāo)題，反爬蟲(chóng)是最常見(jiàn)的反爬蟲(chóng)策略。許多網(wǎng)站會(huì)檢測(cè)標(biāo)題和用戶-代理，有些網(wǎng)站會(huì)檢測(cè)Referer(一些資源網(wǎng)站的防盜鏈就是檢測(cè)推薦人)等。

標(biāo)頭的反爬行策略通常很容易處理。比如對(duì)于用戶代理IP的反抓取策略，我們可以收集很多用戶代理，然后隨機(jī)調(diào)用。還可以很好的處理Referer值的反抓取策略，可以將值改為目標(biāo)網(wǎng)站的域名。

二、用戶訪問(wèn)行為

大多數(shù)網(wǎng)站都制定了基于用戶的反爬蟲(chóng)策略訪問(wèn)行為，畢竟他們會(huì)直接加載服務(wù)器。一般來(lái)說(shuō):可以從兩個(gè)方面來(lái)判斷一是同一個(gè)IP在短時(shí)間內(nèi)多次訪問(wèn)同一個(gè)頁(yè)面，二是同一個(gè)賬號(hào)在短時(shí)間內(nèi)多次執(zhí)行同一個(gè)操作。

第一種情況不難處理，可以選擇使用代理IP來(lái)解決。比如站內(nèi)精靈IP代理的短期優(yōu)質(zhì)代理，一手私人代理，專屬I(mǎi)P池，都可以很好的完成工作。

第二章的情況也可以處理好。在每個(gè)請(qǐng)求之后，下一個(gè)請(qǐng)求以幾秒鐘的隨機(jī)間隔發(fā)送。為什么要隨機(jī)？因?yàn)椴灰?guī)則休眠更符合真實(shí)用戶的訪問(wèn)行為。

三、數(shù)據(jù)加載模式

我們知道，網(wǎng)站界面大多是靜態(tài)頁(yè)面(也就是說(shuō)，你可以在瀏覽器中看到源代碼)(或者推送技術(shù)等方法)獲得，對(duì)于爬行動(dòng)物來(lái)說(shuō)比較麻煩。

解決方案:首先，用Firebug或Fiddler分析網(wǎng)絡(luò)請(qǐng)求。找到ajax的請(qǐng)求url，用Python模擬請(qǐng)求得到需要的數(shù)據(jù)。但是有些網(wǎng)站把a(bǔ)jax請(qǐng)求的所有參數(shù)都加密了，我們只能用動(dòng)態(tài)渲染頁(yè)面信息來(lái)捕捉。

精靈IP代理以上是網(wǎng)站最常見(jiàn)的三種高級(jí)反爬策略，當(dāng)然還有一些其他的反爬策略，比如驗(yàn)證碼，這就需要爬蟲(chóng)工程師根據(jù)實(shí)際情況制定爬蟲(chóng)策略。