文章詳情頁
python - 爬取某網(wǎng)站時需要瀏覽器刷新一次才能返回真實的頁面數(shù)據(jù)？
瀏覽：105日期：2022-08-10 17:31:34
問題描述
請求所需參數(shù)全部帶上了，并且已帶上cookies,已修改header，拿到的數(shù)據(jù)是提示刷新的HTML，如圖：
原網(wǎng)頁是動態(tài)加載的瀑布流，即往不斷下拉就不斷有內(nèi)容呈現(xiàn)出來，靜候大神，目前采用scrapy框架，暫時還不想上selenium+phantomjs，太重了
問題解答
回答1：動態(tài)加載的數(shù)據(jù)你應(yīng)該找ajax api請求，而不是在網(wǎng)頁找，工欲善其事必先利其器，善用 F12。
回答2：這種情況比抓取一個代理ip網(wǎng)頁，使用cookie但是報錯好解決多了＝＝，你完全可以判斷當前頁面內(nèi)容然后進行模擬刷新～ 重要的是保持會話。
如果還不行的話，可以加referer再試一試
相關(guān)文章：
1. mysql - 數(shù)據(jù)庫建字段，默認值空和empty string有什么區(qū)別 1102. 新人求教MySQL關(guān)于判斷后拼接條件進行查詢的sql語句3. 在mybatis使用mysql的ON DUPLICATE KEY UPDATE語法實現(xiàn)存在即更新應(yīng)該使用哪個標簽?4. mysql - 這種分級一對多，且分級不平衡的模型該怎么設(shè)計表？5. Navicat for mysql 中以json格式儲存的數(shù)據(jù)存在大量反斜杠，如何去除？6. mysql - 數(shù)據(jù)庫表中，兩個表互為外鍵參考如何解決7. php - 公眾號文章底部的小程序二維碼如何統(tǒng)計？8. mysql - 表名稱前綴到底有啥用？9. mysql - 千萬數(shù)據(jù) 分頁，當偏移量 原來越大時，怎么優(yōu)化速度10. mac OSX10.12.4 (16E195)下Mysql 5.7.18找不到配置文件my.cnf
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備