文章詳情頁
python - scrapy抓取知網response的內容重復
瀏覽：109日期：2022-06-27 08:47:44
問題描述
遍歷請求翻頁的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結果response請求成功 但是每次內容都一樣的沒變化都是第一次請求時的內容，但是用postman分別請求分頁的url就沒有這問題。= = 是被ban了嗎 之前就不會這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時請求的header頭和用scrapy請求頭有什么區別
回答2：被反爬識別到了
回答3：看下控制臺打印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個x(http:xx/page/x)是否是變化的
相關文章：
1. mysql 可以從 TCP 連接但是不能從 socket 鏈接2. sql語句 - 如何在mysql中批量添加用戶？3. mysql 非主鍵做范圍查找實現原理的一點困惑4. java - jdbc如何返回自動定義的bean5. 怎么php怎么通過數組顯示sql查詢結果呢，查詢結果有多條，如圖。6. mysql - 數據庫建字段，默認值空和empty string有什么區別 1107. mysql - JAVA怎么實現一個DAO同時實現查詢兩個實體類的結果集8. mysql建表索引問題求助9. mysql - PHP定時通知、按時發布怎么做？10. 事務 - mysql共享鎖lock in share mode的實際使用場景
排行榜
網公網安備