Python利用Xpath選擇器爬取京東網(wǎng)商品信息
HTML文件其實(shí)就是由一組尖括號(hào)構(gòu)成的標(biāo)簽組織起來(lái)的,每一對(duì)尖括號(hào)形式一個(gè)標(biāo)簽,標(biāo)簽之間存在上下關(guān)系,形成標(biāo)簽樹;XPath 使用路徑表達(dá)式在 XML 文檔中選取節(jié)點(diǎn)。節(jié)點(diǎn)是通過(guò)沿著路徑或者 step 來(lái)選取的。

首先進(jìn)入京東網(wǎng),輸入自己想要查詢的商品,向服務(wù)器發(fā)送網(wǎng)頁(yè)請(qǐng)求。在這里小編仍以關(guān)鍵詞“狗糧”作為搜索對(duì)象,之后得到后面這一串網(wǎng)址:
https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8,其中參數(shù)的意思就是我們輸入的keyword,在本例中該參數(shù)代表“狗糧”,具體詳情可以參考Python大神用正則表達(dá)式教你搞定京東商品信息。所以,只要輸入keyword這個(gè)參數(shù)之后,將其進(jìn)行編碼,就可以獲取到目標(biāo)URL。之后請(qǐng)求網(wǎng)頁(yè),得到響應(yīng),爾后利用bs4選擇器進(jìn)行下一步的數(shù)據(jù)采集。
商品信息在京東官網(wǎng)上的部分網(wǎng)頁(yè)源碼如下圖所示:

狗糧信息在京東官網(wǎng)上的網(wǎng)頁(yè)源碼
仔細(xì)觀察源碼,可以發(fā)現(xiàn)我們所需的目標(biāo)信息是存在<li data-sku='*****' class='gl-item'>標(biāo)簽下的,那么接下來(lái)我們就像剝洋蔥一樣,一層一層的去獲取我們想要的信息。
通常URL編碼的方式是把需要編碼的字符轉(zhuǎn)化為%xx的形式,一般來(lái)說(shuō)URL的編碼是基于UTF-8的,當(dāng)然也有的于瀏覽器平臺(tái)有關(guān)。在Python的urllib庫(kù)中提供了quote方法,可以實(shí)現(xiàn)對(duì)URL的字符串進(jìn)行編碼,從而可以進(jìn)入到對(duì)應(yīng)的網(wǎng)頁(yè)中去。

在線復(fù)制Xpath表達(dá)式
很多小伙伴都覺(jué)得Xpath表達(dá)式很難寫,其實(shí)掌握了基本的用法也就不難了。在線復(fù)制Xpath表達(dá)式如上圖所示,可以很方便的復(fù)制Xpath表達(dá)式。但是通過(guò)該方法得到的Xpath表達(dá)式放在程序中一般不能用,而且長(zhǎng)的沒(méi)法看。所以Xpath表達(dá)式一般還是要自己親自上手。
直接上代碼,利用Xpath去提取目標(biāo)信息,如商品的名字、鏈接、圖片和價(jià)格,具體的代碼如下圖所示:

爬蟲代碼
在這里,小編告訴大家一個(gè)Xpath表達(dá)式匹配技巧。之前看過(guò)好幾篇文章,大佬們都推薦Xpath表達(dá)式使用嵌套匹配的方式。在本例中,首先定義items,如下所示:
items = selector.xpath(’//li[@class='gl-item']’)
之后通過(guò)range函數(shù),逐個(gè)從網(wǎng)頁(yè)中進(jìn)行匹配目標(biāo)信息,而不是直接通過(guò)復(fù)制Xpath表達(dá)式的方式一步到位。希望小伙伴們以后都可以少入這個(gè)坑~~
最后得到的效果圖如下所示:

最終效果圖
新鮮的狗糧再一次出爐咯~~~
小伙伴們,有沒(méi)有發(fā)現(xiàn)利用Xpath來(lái)獲取目標(biāo)信息比正則表達(dá)式要簡(jiǎn)單一些呢?
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. ASP中實(shí)現(xiàn)字符部位類似.NET里String對(duì)象的PadLeft和PadRight函數(shù)2. vue前端RSA加密java后端解密的方法實(shí)現(xiàn)3. php使用正則驗(yàn)證密碼字段的復(fù)雜強(qiáng)度原理詳細(xì)講解 原創(chuàng)4. JSP+Servlet實(shí)現(xiàn)文件上傳到服務(wù)器功能5. vue項(xiàng)目登錄成功拿到令牌跳轉(zhuǎn)失敗401無(wú)登錄信息的解決6. 基于javaweb+jsp實(shí)現(xiàn)企業(yè)財(cái)務(wù)記賬管理系統(tǒng)7. asp批量添加修改刪除操作示例代碼8. ASP動(dòng)態(tài)網(wǎng)頁(yè)制作技術(shù)經(jīng)驗(yàn)分享9. CSS可以做的幾個(gè)令你嘆為觀止的實(shí)例分享10. 淺談?dòng)蓀osition屬性引申的css進(jìn)階討論

網(wǎng)公網(wǎng)安備