PC端訪問卻變成移動端地址問題#python#scrapy
問題描述
用scrapy 爬取喜馬拉雅,爬取PC端地址,入口鏈接的response沒問題,但后面response看到的是移動端地址。。。。
spider 代碼如下:
class SpxmlySpider(scrapy.Spider): name = ’ximalaya’ allowed_domains = ['ximalaya.com'] # 保存每頁鏈接 start_urls = [’http://www.ximalaya.com/dq/all/{}’.format(num) for num in range(2, 3)] #先改為第二頁試試 def parse(self, response):# 取出專輯鏈接print(response)mainurls = response.xpath(’//p[@class='albumfaceOutter']/a/@href’).extract()# for url in mainurls:# yield Request(url = url, callback=self.parse_details)print(mainurls[0])yield Request(url = mainurls[0], dont_filter=True, callback = self.parse_details)# TODO 為什么PC端訪問會變成移動地址問題?。。。。。。。。。。。。。。。?! def parse_details(self, response):item = XimalayaItem()print(response)......以下省略
控制臺輸出:
已經寫了一個 middlewares.RotateUserAgentMiddleware,是生效的,輸出內容也可以看出來。
是不是觸發什么反爬機制?
問題解答
回答1:應該是你的headers沒有設置user-agent的原因
回答2:request headers 好好配置一下, 判斷是不是移動端一般是靠user-agent啥都沒有也能訪問到數據,也說明目標網站沒怎么在意防盜鏈
相關文章:
1. 人工智能 - python 機器學習 醫療數據 怎么學2. python - oslo_config3. mysql優化 - mysql 一張表如果不能確保字段列長度一致,是不是就不需要用到char。4. python - 請問這兩個地方是為什么呢?5. Python處理Dict生成json6. 請教一個mysql去重取最新記錄7. javascript - 按鈕鏈接到另一個網址 怎么通過百度統計計算按鈕的點擊數量8. python2.7 - python 正則前瞻 后瞻 無法匹配到正確的內容9. 大家都用什么工具管理mysql數據庫?10. php - 有關sql語句反向LIKE的處理
