文章詳情頁
python - scrapy 處理 文章 分頁的內容
瀏覽：151日期：2022-08-03 16:15:10
問題描述
如一篇文章有2-3頁，然后想把這些內容頁爬下來，拼接成一頁，然后再放入數據庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內容。大概怎么寫呢？
問題解答
回答1：找到分頁接口url
回答2：找到那個下一頁的鏈接，加入到爬取url列表中
回答3：可以在rules里面寫正則自動掃描符合的url
相關文章：
1. css3 讓圖片變成灰色(filter)，但針對IE11瀏覽器無效2. macos - 無法source activate python273. 運行python程序時出現“應用程序發生異常”的內存錯誤？4. java - 同步/異步與阻塞/非阻塞之間的差異具體是什么？5. html - vue里面:src在IE（9-11）下不顯示圖片6. java - butterknife怎么綁定多個view7. android - Genymotion 模擬器可以做屏幕適配檢測嗎？8. html5 - 前端面試碰到了一個緩存數據的問題，來論壇上請教一下9. javascript - 打算寫一個c++的node圖像處理模塊,有沒有推薦的c++圖片處理庫？10. html5 - 在HBuilder中打包Android的apk包出錯，不知道是什么原因。
排行榜
網公網安備