文章詳情頁
python - 使用scrapy框架爬百度圖片被墻
瀏覽：115日期：2022-06-30 14:19:37
問題描述
請求地址url是通過firefox查看得到的json的地址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決辦法。
https://image.baidu.com/searc...
問題解答
回答1：在 settings.py 將 ROBOTSTXT_OBEY = False 試試。
回答2：不要加hearders試試
回答3：贊成樓上，如果還會被墻。可采用scrapy+selenium+phantomjs的方式。
相關文章：
1. css3 - rem布局下，用戶瀏覽器的最小字號是12px怎么辦？2. javascript - 循環嵌套多個promise應該如何實現？3. mysql優化 - 關于mysql分區4. css - 移動端字體設置問題5. html5 - 如何實現帶陰影的不規則容器？6. vue.js - vue 打包后 nginx 服務端API請求跨域問題無法解決。7. javascript - ionic2 input autofocus 電腦成功，iOS手機鍵盤不彈出8. node.js - 在vuejs-templates/webpack中dev-server.js里為什么要exports readyPromise?9. 前端 - IE9 css兼容問題10. objective-c - iOS開發支付寶和微信支付完成為什么跳轉到了之前開發的一個app?
排行榜
網公網安備