如果你注意到你獲取的信息內容與目標網站屏幕上顯示的正常信息不同，換句話說，你抓取的信息是空白的，那么你抓取的網站在構建網頁時，很有可能是程序出了問題。如果爬行頻率高于目標在線平臺的限制閾值，將被禁止訪問。一般來說，ip是網站反黑客機制的基礎，當我們瀏覽網站時，我們的IP地址會被記錄下來，服務器會把你當成爬蟲程序，所以頻繁的抓取會使現有的IP地址不可用，所以我們必須想辦法改變自己設備的IP地址或者現有的爬蟲程序。

 

 

因此，網絡爬蟲開發者一般需要使用兩種技術手段來處理這類問題。

 

方法一:放慢抓取速度，這樣目標網站的壓力會相對減少，但如果這樣做，單位時間的抓取量會相對減少。

 

方法二:用精靈ip代理，攻克反爬蟲系統進行高頻抓取，需要多個穩定的代理IP。基于ADSL撥號的普通解決方案。通常在抓取過程中禁止訪問時，可以再次撥打ADSL獲取新的IP，這樣就可以繼續抓取。但是在多個網站的多線程抓取中，如果禁止某個網站的抓取，也會對其他網站的抓取造成危害，一般來說也會減緩獲取速度。

 

另一種可能的解決方案也是基于ADSL撥號。不同的是需要兩個能夠ADSL撥號的智能代理，這兩個服務器在抓取過程中作為代理使用。假設有兩臺服務器A和B可以撥打ADSL。爬蟲運行在C服務器上，使用A作為代理訪問外部網絡。如果在爬行過程中禁止訪問，則立即將代理切換到B，然后重撥A，如果再次禁止訪問，則切換到A作為代理，B再次重撥，以此類推。推薦閱讀:獲取代理ip的方法有哪些？

 

在實際的爬行過程中，還有很多問題需要根據實際情況進行分析和解決。在很大程度上，爬蟲爬行是一項非常麻煩和困難的工作，因此現在已經開發了許多軟件來解決爬蟲程序的各種問題。