很多做爬蟲業(yè)務的人發(fā)現(xiàn)他們用的是一個穩(wěn)定的代理IP，還控制訪問速度和次數(shù)。他們還發(fā)現(xiàn)爬蟲工作有時會遇到各種問題，工作總是無法順利中止。那么，如何處理爬蟲運用代理IP后遇到的問題呢？

 

1.分布式爬蟲。我們可以在爬行時運用分布式方法。這種方法有一定的幾率起到防爬的作用，還可以增加爬的量。

 

2.清理cookies。模擬登錄比較省事的時候，可以直接在網上登錄，記下cookies保管，然后帶cookies當爬蟲。但是，這不是耐久之計，cookies可能會在一段時間內失效。

 

3.多賬號防爬。很多網站會經過一個賬號在固定時間內的訪問頻率來判別自己是不是機器人。在這種情況下，可以測試單個賬號的固定時間值，然后在時間臨近時切換代理IP，這樣就可以循環(huán)抓取了。

 

4.考證碼問題。爬蟲經常會遇到長時間的考證碼問題。這是為了考證你能否是機器人，而不是為了識別你是爬行類機器人。第一種處置方案:這種情況下，可以將考證碼下放到本地，手動輸入考證碼中止考證。這種方法本錢高，并且不能自動捕獲，需求人工干預。第二種處置方案:可以經過圖像識別考證碼，自動填寫考證碼。但是往常的考證碼大多比較復雜，圖像識別不熟習就無法識別正確的考證碼。第三種處置方案:可以接入自動編碼平臺，最便利但需求置辦。

 

不同的網站有不同的反爬蟲方法，一套爬蟲戰(zhàn)略不會適用于任何網站。因此需求根據細致情況中止分析，不時測試分析過程，找出網站的反爬蟲戰(zhàn)略，才干起到事半功倍的效果。