很多從事python爬蟲的網友經常會遇到這樣的情況，有些數據在瀏覽器上顯示出來卻不能收集網站信息時不要被抓取，這可能是因為對方故意阻止爬蟲抓取信息。當你的IP地址被網站屏蔽后，會阻止你繼續訪問。這里有一些非常簡單的方法可以讓你的python爬蟲看起來更像一個人類訪問用戶。

1.構建一個合理的HTTP請求頭，它可以由請求模塊定制。

2.優化cookies。在收集一些網站時，Cookies是必不可少的。建議您在收集目標網站生成的cookie之前進行檢查，然后篩選出爬蟲需要處理的cookie。

3.在正常時間訪問路徑，許多有保護措施的網站可能會阻止您快速提交表單有多快？以比普通人快得多的速度操作，很可能導致被網站屏蔽，建議盡量增加每次頁面訪問的間隔。

4.注意隱式輸入字段值。有兩種主要方法可以防止python爬蟲抓取帶有隱式字段的信息。首先，表單頁面上的字段可以由服務器生成的隨機變量來表示；另一個是服務器的蜜罐陷阱。因此，有必要檢查表單所在的頁面。

5.使用代理IP。在網絡中，IP地址相當于你的網上身份證，一人一個。當一個網站認識到python爬蟲和人工訪問的區別后，通常會采取屏蔽IP地址的方法來阻止你抓取信息。


此時，您需要使用代理IP。精靈IP代理是一家可以提供大量優質IP資源，所有的IP都屬于高度匿名的代理IP，由很多個人終端IP組成可以偽裝python爬蟲的本地IP地址，達到突破網站反抓取限制的目的。