文章詳情頁
python - scrapy 爬取pages比實際進(jìn)入items的多得多？
瀏覽：103日期：2022-07-23 10:55:26
問題描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
為什么我使用scrapy爬取的時候訪問pages要比實際進(jìn)入items的的多的多?就是爬了半天items里沒有幾條數(shù)據(jù)入庫的有什么辦法解決么？
問題解答
回答1：重定向了，你看到了吧，重定向就得請求兩個頁面啊。還有就是看有不有頁面解析發(fā)生了錯誤。
上一條：算法 - python ahocorasick 從本地文件讀取文本，進(jìn)行關(guān)鍵字匹配，匹配失敗下一條：運行python程序時出現(xiàn)“應(yīng)用程序發(fā)生異常”的內(nèi)存錯誤？
相關(guān)文章：
1. docker容器呢SSH為什么連不通呢？2. docker start -a dockername 老是卡住，什么情況？3. 關(guān)docker hub上有些鏡像的tag被標(biāo)記““This image has vulnerabilities””4. docker - 各位電腦上有多少個容器啊？容器一多，自己都搞混了，咋辦呢？5. Android TextView 或 ListView 加載過渡效果6. 【python小白】 問關(guān)于之初始化一次對象的問題7. service mysql.server start 啟動失敗8. python - thrift 返回 TSocket read 0 bytes 求助!!!!9. python3.x - python中import theano出錯10. python - 為什么我直接用requests爬網(wǎng)頁可以，但用scrapy不行？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備