文章詳情頁
python - scrapy 爬取pages比實際進入items的多得多？
瀏覽：132日期：2022-07-23 10:55:26
問題描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
為什么我使用scrapy爬取的時候訪問pages要比實際進入items的的多的多?就是爬了半天items里沒有幾條數據入庫的有什么辦法解決么？
問題解答
回答1：重定向了，你看到了吧，重定向就得請求兩個頁面啊。還有就是看有不有頁面解析發生了錯誤。
相關文章：
1. macos - 無法source activate python272. 小白學python的問題 關于%d和%s的區別3. mysql - 在不允許改動數據表的情況下，如何優化以varchar格式存儲的時間的比較？4. 運行python程序時出現“應用程序發生異常”的內存錯誤？5. android - 如何實現QQ pad 點擊右側輸入框，只頂右側的布局，左側布局不動6. css3:flex排版問題7. css - 關于background-position百分比的問題？8. 問題Unknown column ’’ in ’where clause’9. html5 - chrome上的video控制條不同10. github - 求助大神啊，win10 git clone error，折騰了幾天都不行，以前原本好好的，突然就這樣了
排行榜
網公網安備