在使用代理ip的過程中，我們發現大部分用戶朋友都有這樣的想法:有了高質量的代理IP，爬蟲才能暢通無阻，如果爬蟲不能很好的工作，那就是代理IP的鍋，他們認為高質量的代理IP等于好的爬蟲策略，有了這樣的代理IP，就不用擔心爬蟲策略了。

 

 

其實這種想法是片面的。使用代理IP只是爬蟲策略之一，具體的爬蟲策略要根據目標網站的防爬策略來制定，也可以稱為防爬策略。

 

一般防爬蟲措施如下:

 

1.代碼級限制要求登錄訪問。一天只能訪問一定數量的頁面，不登錄的時候只能查看幾個頁面，比如列表信息網站。已經有很多一天6的列表詳情頁，更多的頁面會是惡意的。這種限制需要為爬蟲的爬行準備大量的帳戶。當然，除了徹底限制之外，還可以限制訪問超過數量的彈出驗證碼，然后驗證后繼續訪問，這樣至少有少數真實用戶不會無法訪問。

 

2.提前獲取IP代理池的IP列表，在防火墻級別直接黑化，可以避免一些高端的問題。

 

3.將常見的爬蟲頭信息全部 Nginx 或者代碼層面拉黑。據說一些大網站黑化了python中所有常見的爬蟲頭部信息，增加了基礎爬蟲的代碼成本。

 

4.高端反爬蟲是隔幾個小時切換頁面代碼或界面數據結構。我記得是某個寶藏干的。對于爬蟲來說，它可能只是編寫了這種類型的代碼，然后整個頁面代碼和數據結構使用了一套新的非常高級的對策。

 

5.數據加擾:每個頁面都有一些加密和解密規則，或者每個頁面都有不同的加擾數據。很有可能你抓取的內容包含了一些虛假數據或者加密數據，這也增加了爬蟲的成本。例如，網頁中還可以添加一些樣式或名稱相同的關鍵隱藏字段，這些隱藏字段甚至不會出現在頁面上，這使得爬蟲很難找到關鍵元素。

 

從上面我們可以看出，爬蟲策略不僅僅是使用優質的代理IP，還要根據目標網站的防爬策略進行實際分析，制定專門的防爬策略,當然，高質量的代理IP一定是必不可少。