在剛接觸python爬蟲的時(shí)候，我們總會(huì)遇到爬蟲在采集數(shù)據(jù)時(shí)被阻塞的問題。我想每個(gè)人都遇到過類似的問題。今天我們就從http代理ip的角度來討論如何解決這個(gè)問題。使用代理ip服務(wù)器抓取網(wǎng)頁時(shí)，我的IP還會(huì)被屏蔽嗎？

 

通常，有幾種方法可以檢查被阻止的爬網(wǎng)程序:

 

 

 

首先，檢查JavaScript。如果你從web服務(wù)器收到的頁面是空白的，缺乏信息，或者它遇到了不符合你的預(yù)期(或者你在瀏覽器中看到的)的情況，可能是因?yàn)榫W(wǎng)站創(chuàng)建頁面的JavaScript執(zhí)行有問題。

 

 

 

第二，查看普通瀏覽器提交的參數(shù)。如果您打算向網(wǎng)站提交表單或POST請求，請記得檢查頁面內(nèi)容，查看您要提交的每個(gè)字段是否都已填寫，格式是否正確。使用Chrome瀏覽器的網(wǎng)頁面板(快捷鍵F12打開開發(fā)者控制臺(tái)，然后點(diǎn)擊“網(wǎng)絡(luò)”查看)查看發(fā)送到網(wǎng)站的POST命令，確保你的每個(gè)參數(shù)都是正確的。

 

 

 

第三，有合法的Cookie嗎？如果您已經(jīng)登錄網(wǎng)站但無法保持登錄狀態(tài)，或者網(wǎng)站上有其他“登錄狀態(tài)”異常，請檢查您的cookie。確保在加載每個(gè)頁面時(shí)正確調(diào)用cookie，并且每次發(fā)出請求時(shí)都將您的cookie發(fā)送到網(wǎng)站。

 

 

 

第四，IP被禁了嗎？如果您在客戶端遇到HTTP錯(cuò)誤，尤其是403禁止訪問錯(cuò)誤，這可能表明網(wǎng)站已經(jīng)將您的IP視為機(jī)器人，不再接受您的任何請求。要么等待您的IP地址從網(wǎng)站黑名單中刪除，要么更改IP地址。如果你確定自己沒有被封禁，那就查看下面的內(nèi)容。

 

 

 

第五，確保你的爬蟲在網(wǎng)站上的速度不是特別快。快速收集是一個(gè)壞習(xí)慣，會(huì)給網(wǎng)管的服務(wù)器帶來沉重的負(fù)擔(dān)，讓你陷入違法的境地，也是IP被網(wǎng)站列入黑名單的首要原因。給你的爬蟲增加延遲，讓它們在夜深人靜的時(shí)候運(yùn)行。記住:匆忙編寫程序或收集數(shù)據(jù)是項(xiàng)目管理不善的表現(xiàn)；我們應(yīng)該提前計(jì)劃以避免恐慌。

 

 

 

第六，還有一件事必須做:修改你的請求頭！一些網(wǎng)站會(huì)屏蔽任何自稱爬行動(dòng)物的訪問者。如果您不確定請求頭的值是否合適，請使用自己瀏覽器的請求頭。