成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久

您的位置:首頁技術(shù)文章
文章詳情頁

python - 除了代理ip,香港的服務(wù)器爬取國內(nèi)網(wǎng)站還有更好的方法嗎?

瀏覽:120日期:2022-09-22 11:38:38

問題描述

我在做一只淘寶的爬蟲,但是用的是香港的服務(wù)器,但是比較困惑:因?yàn)槊看闻捞詫毜氖醉摃r候,就自動給我跳轉(zhuǎn)到香港淘寶~~導(dǎo)致源代碼和內(nèi)容都不一樣~請問如果遇到這種情況要怎么處理呢?

簡單來說,比如采集58同城如果我是泉州的,我想采集北京的,要怎么采集?

因?yàn)槲矣梦业膇p打開會總跳轉(zhuǎn)到北京,但是直接想采集58首頁的

python - 除了代理ip,香港的服務(wù)器爬取國內(nèi)網(wǎng)站還有更好的方法嗎??![圖片上傳中...]

問題解答

回答1:

禁止重定向,以requests為例子:

r = requests.get(’http://github.com/’, allow_redirects=False)r.status_code # 302r.url # http://github.com, not https.r.headers[’Location’] # https://github.com/ -- the redirect destination回答2:

如果是想采集的北京的,就去打子城名,不過有PGTID保護(hù)

http://bj.58.com/?PGTID=0d000...

建義使用selenium

回答3:

有時候服務(wù)器會根據(jù)你的ip對應(yīng)的地理位置信息作重定向的,這個你除了找代理應(yīng)該沒有別的方法了。。

標(biāo)簽: Python 編程