文章詳情頁
python - 爬取某網(wǎng)站時需要瀏覽器刷新一次才能返回真實的頁面數(shù)據(jù)？
瀏覽：164日期：2022-08-10 17:31:34
問題描述
請求所需參數(shù)全部帶上了，并且已帶上cookies,已修改header，拿到的數(shù)據(jù)是提示刷新的HTML，如圖：
原網(wǎng)頁是動態(tài)加載的瀑布流，即往不斷下拉就不斷有內(nèi)容呈現(xiàn)出來，靜候大神，目前采用scrapy框架，暫時還不想上selenium+phantomjs，太重了
問題解答
回答1：動態(tài)加載的數(shù)據(jù)你應(yīng)該找ajax api請求，而不是在網(wǎng)頁找，工欲善其事必先利其器，善用 F12。
回答2：這種情況比抓取一個代理ip網(wǎng)頁，使用cookie但是報錯好解決多了＝＝，你完全可以判斷當(dāng)前頁面內(nèi)容然后進(jìn)行模擬刷新～ 重要的是保持會話。
如果還不行的話，可以加referer再試一試
相關(guān)文章：
1. macos - 無法source activate python272. javascript - 微信網(wǎng)頁開發(fā)從菜單進(jìn)入頁面后，按返回鍵沒有關(guān)閉瀏覽器而是刷新當(dāng)前頁面，求解決？3. 預(yù)訂金和尾款分別支付4. javascript - h5微信中怎么禁止橫屏5. empty比isset更嚴(yán)格一點6. 運(yùn)行python程序時出現(xiàn)“應(yīng)用程序發(fā)生異常”的內(nèi)存錯誤？7. 我在導(dǎo)入模板資源時遇到無法顯示的問題，請老師解答下8. PHPExcel表格導(dǎo)入數(shù)據(jù)庫怎么導(dǎo)入9. thinkphp6使用驗證器 信息如何輸出到前端頁面10. python - sqlalchemy更新數(shù)據(jù)報錯
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備