很大一部分人認(rèn)為python爬蟲(chóng)必須使用代理ip，否則將無(wú)法爬取數(shù)據(jù)。 但實(shí)際操作不一定。 如果需要爬取的信息量不是很大，可以輕松實(shí)現(xiàn)一次爬取一個(gè)網(wǎng)站上千篇文章，無(wú)需使用代理ip。  

 

爬蟲(chóng)最基本的本質(zhì)其實(shí)就是一個(gè)瀏覽網(wǎng)站的用戶，但是這個(gè)用戶有點(diǎn)特殊，瀏覽速度比普通用戶還快，給服務(wù)器帶來(lái)了很大的壓力。 服務(wù)器使用了多種反爬蟲(chóng)策略來(lái)限制或禁止爬蟲(chóng)程序，所以這也是為什么很多人認(rèn)為Python爬蟲(chóng)一定要使用改IP軟件的原因。  

 

如果爬蟲(chóng)程序的瀏覽速度和次數(shù)沒(méi)有超出服務(wù)器反爬蟲(chóng)機(jī)制的范圍，可以不使用改IP軟件進(jìn)行IP切換； 如果要爬取的數(shù)據(jù)量很大，需要多臺(tái)機(jī)器、多線程、高并發(fā)爬取，那么就需要換ip軟件切換ip來(lái)幫助完成工作。  

 

所以一般任務(wù)量比較大的爬蟲(chóng)任務(wù)都是選擇改ip軟件來(lái)解決反爬策略的限制，保證工作可以繼續(xù)進(jìn)行。