最經(jīng)典的反爬蟲策略是“驗證碼”因為驗證碼是圖片，用戶只需要輸入一次就可以成功登錄。然而，在我們的程序捕獲數(shù)據(jù)的過程中，我們需要不斷地登錄。比如我們需要抓取1000個用戶的個人信息，填寫1000次驗證碼，但是手工輸入驗證碼是不現(xiàn)實的，所以驗證碼的出現(xiàn)一度難倒了很多網(wǎng)絡(luò)爬蟲工程師。

精靈IP代理

解決方案:

1.分析網(wǎng)站的驗證碼機制，從網(wǎng)站后臺或前端獲取驗證碼(文本形式)這種方法只適用于少數(shù)網(wǎng)站，因為我們一般很難獲得驗證碼。

2.利用圖像識別技術(shù)識別驗證碼文本。

3.通常有些網(wǎng)站不僅僅是個人電腦，還有移動的。很有可能是手機網(wǎng)站不含驗證碼。所以試試手機網(wǎng)站，可能會有意想不到的效果。

另一種反爬蟲策略是屏蔽ip和賬號。剛開始用機器搶新浪微博，導(dǎo)致賬號被封，IP短時間被封遇到類似的問題，我必須更加小心。

解決方案:

1.最簡單的解決方案，限制程序捕獲的頻率，每隔幾秒就登錄一次(如果對捕獲次數(shù)沒有要求，可以使用這種方法；如果您想捕獲大量數(shù)據(jù)，您不應(yīng)該捕獲的日期)

2.因為賬號被IP封了，所以我會用多個賬號，多臺機器來搶，既解決了反爬蟲的問題，又分流和緩解了單機的帶寬壓力。

3.事實證明，即使我們采取一兩種方法，還是會屏蔽一些網(wǎng)站。在這種情況下，只能使用ip代理要抓取我們想要的數(shù)據(jù)，到目前為止，基本解決封賬號和IP的問題還是很有效的。