大多數(shù)人認(rèn)為python爬蟲必須使用代理ip軟件，否則無法抓取數(shù)據(jù)。事實(shí)上，并非如此。

 

如果要抓取的數(shù)據(jù)不多，可以一次抓取一個網(wǎng)站上千篇文章，不需要代理ip也可以輕松實(shí)現(xiàn)。從本質(zhì)上來說，爬蟲也是用來瀏覽網(wǎng)站的。只是一個用戶，但是用戶很夸張，瀏覽速度超出常人，給服務(wù)器造成很大壓力。服務(wù)器只能使用多種反爬蟲策略來限制或禁止爬蟲，這就是使用代理ip的原因。

 

如果爬蟲程序的瀏覽速度和次數(shù)沒有超過服務(wù)器反爬蟲機(jī)制允許的范圍，就不需要使用代理IP；如果要爬取的數(shù)據(jù)量很大，需要多機(jī)、多線程、高并發(fā)來爬取，就不得不使用代理ip來幫助完成任務(wù)。

 

很多朋友說ADSL撥號服務(wù)器在沒有代理ip的情況下也可以處理ip被屏蔽的情況。ADSL撥號一般是斷開重?fù)芎螳@取一個新的ip，然后繼續(xù)抓取。但是有一個問題。撥號和重?fù)鼙仨氃谝欢螘r間后進(jìn)行，所以運(yùn)行的程序會被中斷，所以要準(zhǔn)備幾臺ADSL服務(wù)器作為代理，然后爬蟲在另一臺不斷聯(lián)網(wǎng)的服務(wù)器上運(yùn)行。當(dāng)然也是如此，抓取大數(shù)據(jù)用起來太麻煩，一般大型爬蟲的任務(wù)是選擇精靈ip代理來解決反爬策略的局限性。