公司在做分布式深度web爬蟲，建立了一套穩定的代理池服務，為成千上萬的爬蟲提供有效的代理，確保所有的爬蟲都獲得相應網站的有效代理IP，保證爬蟲能夠快速穩定的運行。當然，公司里做的事情不能是開源的。但是在業余時間，我手癢，所以想利用一些空閑資源做一個簡單的代理池解答。

 

 

代理IP從何而來？

 

我第一次自學爬蟲的時候，去的是有免費代理沒有代理IP的網站，但是還是有一些代理可用。當然，如果有更好的代理接口，也可以自己訪問。

 

自由代理的收集也很簡單，無非就是:訪問頁面頁面->常規/xpath提取->保存。

 

如何保證代理質量？

 

我肯定大部分的自由代理IP是不能用的，不然為什么還有人提供付費IP(但事實是很多代理的付費IP不穩定，很多都不能用)。所以收集到的代理IP不能直接使用，可以寫一個檢測程序，不斷使用這些代理訪問穩定的網站，看看是否可以正常使用。這個過程可以是多線程的，也可以是異步的，因為檢測代理是一個緩慢的過程，傳統的代理IP可以去云立方這樣的網站。

 

如何存儲收集的代理？

 

在這里，我們必須推薦一個支持各種數據結構的高性能NoSQL數據庫SSDB，它被用作Redis的代理。支持隊列、哈希、集合和k-v對，支持T級數據。它是分布式爬蟲的一個很好的中間存儲工具。

 

如何讓爬蟲更容易使用這些代理？

 

答案一定是把它變成一種服務。python有這么多web框架，只需拿一個來編寫一個api，供爬蟲調用。這樣做有很多好處，比如:當爬蟲發現代理無法使用時，可以通過api主動刪除代理IP，當爬蟲發現代理池IP不足時，可以主動刷新代理池。這比檢測程序更可靠。