成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久

您的位置:首頁技術文章
文章詳情頁

Python爬蟲獲取豆瓣電影并寫入excel

瀏覽:151日期:2022-07-15 17:07:55

豆瓣電影排行榜前250 分為10頁,第一頁的url為https://movie.douban.com/top250,但實際上應該是https://movie.douban.com/top250?start=0 后面的參數0表示從第幾個開始,如0表示從第一(肖申克的救贖)到第二十五(觸不可及),https://movie.douban.com/top250?start=25表示從第二十六(蝙蝠俠:黑暗騎士)到第五十名(死亡詩社)。等等,

所以可以用一個步長為25的range的for循環參數

復制代碼 代碼如下:for i in range(0, 250, 25): print(i)

分析完頁面組成后,開始獲取頁面,直接request.get()發現沒有返回任何東西,輸出一下響應碼

url = ’https://movie.douban.com/top250?start=0’res = request.get(url=url)print(res.status_code)

發現返回響應碼418

以前沒見過這個,拉網線上網查一下,發現給get里面加一個header參數就行了

這里可以用自己瀏覽器的user-agent,如

headers = {’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36’}

或者用fake_agent(安裝直接用pip install fake_agent) 來為自己生成一個隨機的agent添加到header字典中

from fake_useragent import UserAgentheaders = {’User-Agent’: UserAgent().random}

之后就可以得到頁面源碼了。

然后使用lxml.etree,即xpath解析頁面源碼。用瀏覽器插件xpath finder快速定位到元素

Python爬蟲獲取豆瓣電影并寫入excel

import requestsimport lxml.etree as etreeurl = ’https://movie.douban.com/top250?start=0’headers = {’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36’}res = requests.get(url=url, headers=headers)print(res.text)html = etree.HTML(res.text)name = html.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]')print(name)

但是直接這樣子,解析到的是這樣的結果

[<Element span at 0x20b2f0cc488>]

Python爬蟲獲取豆瓣電影并寫入excel

關于這東西是什么,有文章寫的很好:https://www.jb51.net/article/132145.htm

這里我直接寫解決部分,在使用xpath解析時,后面加上/text()

name = html.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]/text()')

解決后,再使用xpath finder插件,一步一步獲取到電影所有數據

最后把這個寫在函數里,外面再套上一開始說的循環,就OK了

# -*- coding: utf-8 -*-import requestsimport lxml.etree as etreedef get_source(page): url = ’https://movie.douban.com/top250?start={}’.format(page) headers = { ’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36’} print(url) res = requests.get(url=url, headers=headers) print(res.status_code) html = etree.HTML(res.text) for i in range(1, 26): name = html.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[1]/a/span[1]/text()'.format(i)) info = html.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[1]/text()'.format(i)) score = html.xpath( '/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/div/span[2]/text()'.format(i)) slogan = html.xpath( '/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[2]/span/text()'.format(i)) print(name[0]) print(info[0].replace(’ ’, ’’)) print(info[1].replace(’ ’, ’’)) print(score[0]) print(slogan[0])n = 1for i in range(0, 250, 25): print(’第%d頁’ % n) n += 1 get_source(i) print(’==========================================’)

在定位時,發現有4部電影介紹沒有slogan,導致獲取到的信息為空列表,也就導致了list.append()會出錯。所以我加上了幾個差錯處理,解決方式可能有點傻,如果有更好的解決辦法,洗耳恭聽

代碼在最后可以看到

Python爬蟲獲取豆瓣電影并寫入excel

EXCEL保存部分

這里我用的xlwt

book = xlwt.Workbook()

sheet = book.add_sheet(u’sheetname’, cell_overwrite_ok=True)

創建一個sheet表單。

數據保存到一個大列表中,列表嵌套列表

再通過循環把數據導入到excel表單中

r = 1 for i in LIST: #有10頁 for j in i: #有25條數據 c = 2 for x in j: #有5組數據print(x)sheet.write(r, c, x)c += 1 r += 1

最后在保存一下

book.save(r’douban.xls’)

注意文件后綴要用xls,用xlsx會導致文件打不開

然后就大功告成了

打開文件,手動加入排名,等部分信息(這些也可以在程序里完成,我嫌麻煩,就沒寫,直接手動來的快)

Python爬蟲獲取豆瓣電影并寫入excel

前面的✓是我自己整的,用于記錄那些看過,那些沒看過

這也是我寫這個東西的最初的目的

完整代碼在下面,僅用于參考

# -*- coding: utf-8 -*-import requestsimport lxml.etree as etreeimport xlwtdef get_source(page): List = [] url = ’https://movie.douban.com/top250?start={}’.format(page) headers = { ’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36’} print(url) res = requests.get(url=url, headers=headers) print(res.status_code) html = etree.HTML(res.text) for i in range(1, 26): list = [] name = html.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[1]/a/span[1]/text()'.format(i)) info = html.xpath('/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[1]/text()'.format(i)) score = html.xpath( '/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/div/span[2]/text()'.format(i)) slogan = html.xpath( '/html/body/div[3]/div[1]/div/div[1]/ol/li[{}]/div/div[2]/div[2]/p[2]/span/text()'.format(i)) try: list.append(name[0]) except: list.append(’----’) try: list.append(info[0].replace(’ ’, ’’).replace(’n’, ’’)) except: list.append(’----’) try: list.append(info[1].replace(’ ’, ’’).replace(’n’, ’’)) except: list.append(’----’) try: list.append(score[0]) except: list.append(’----’) try: list.append(slogan[0]) except: list.append(’----’) List.append(list) return Listn = 1LIST = []for i in range(0, 250, 25): print(’第{}頁’.format(n)) n += 1 List = get_source(i) LIST.append(List)def excel_write(LIST): book = xlwt.Workbook() sheet = book.add_sheet(u’sheetname’, cell_overwrite_ok=True) r = 1 for i in LIST: #有10頁 for j in i: #有25條數據 c = 2 for x in j: #有5組數據print(x)sheet.write(r, c, x)c += 1 r += 1 book.save(r’douban1.xls’) #保存代碼excel_write(LIST)

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: 豆瓣 Python
相關文章:
成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久
国产精品99久久不卡二区| 一区二区三区精密机械公司| 亚洲色图视频网站| caoporen国产精品视频| 欧美成人a视频| 高清在线成人网| 日韩欧美第一区| 国产suv精品一区二区三区| 欧美一级片在线| 丁香婷婷综合激情五月色| 日韩一区和二区| 成人免费av在线| 久久人人爽人人爽| 欧美激情一级片一区二区| 亚洲国产成人一区二区三区| 不卡的av电影| 久久色在线视频| 欧美三级小说| 综合久久久久综合| 国产欧美一区二区三区另类精品 | 精品一区二区三区视频| 欧美性生交片4| 国产一区二区三区不卡在线观看| 欧美精品第1页| 成人性生交大片免费看视频在线| 日韩欧美亚洲一区二区| 成人h动漫精品一区二| 久久色中文字幕| 一区在线播放| 亚洲国产aⅴ天堂久久| 91成人在线免费观看| 国产一区二区三区| 久久久久久亚洲综合影院红桃 | 国产在线欧美| 国产精品三级在线观看| 一本色道久久综合亚洲精品不 | 久久99精品一区二区三区三区| 欧美精品免费视频| eeuss国产一区二区三区| 中文字幕第一区| 亚洲一区日韩| 精品一区二区三区在线播放视频 | 日韩电影免费在线| 91 com成人网| 91视频.com| 一区二区三区在线观看国产| 久久精品30| 国产精品一色哟哟哟| 久久久久国产一区二区三区四区| 亚洲国产精品一区制服丝袜| 偷偷要91色婷婷| 91麻豆精品国产91久久久久久久久| 99久久精品国产观看| 亚洲乱码国产乱码精品精98午夜 | 国产婷婷色一区二区三区在线| 国产一区久久| 亚洲mv在线观看| 在线成人午夜影院| 午夜国产一区| 亚洲午夜久久久久久久久电影网 | 久久精品亚洲精品国产欧美| 99riav1国产精品视频| 美女精品一区二区| 精品久久久久一区二区国产| 影音先锋久久资源网| 日韩av网站在线观看| 欧美大片在线观看| 一区二区冒白浆视频| 国产在线视频一区二区| 国产精品卡一卡二卡三| 色欧美片视频在线观看| 99久精品国产| 亚洲成a人v欧美综合天堂下载| 91精品国产免费| 91久久精品国产91久久性色tv | 精品夜夜嗨av一区二区三区| 国产亚洲欧美在线| 久久精品午夜| av一区二区三区在线| 亚洲成人精品一区二区| 欧美成人r级一区二区三区| 国产精品日韩欧美一区| 国产成人三级在线观看| 国产精品短视频| 欧美日韩一区二区三区视频| 狠狠综合久久| 久久91精品久久久久久秒播| 中文字幕在线不卡一区 | 国产精品国产馆在线真实露脸 | 国产在线欧美日韩| 美女视频一区在线观看| 中文字幕va一区二区三区| 在线免费av一区| 国产一区在线免费观看| 久久99久久久欧美国产| 17c精品麻豆一区二区免费| 69堂亚洲精品首页| 亚洲一区二区在线看| av在线不卡免费看| 日本va欧美va欧美va精品| 国产色一区二区| 欧美电影在线免费观看| 国产精品乱码一区二区三区| 成人性生交大片免费看中文| 午夜精品影院在线观看| 国产精品午夜久久| 欧美日韩夫妻久久| 亚洲影视在线| 欧美日韩精品伦理作品在线免费观看 | 91在线观看美女| 日本不卡中文字幕| 国产精品国模大尺度视频| 91精品国产品国语在线不卡| 久久国产精品99国产| 欧美日韩日本网| 国产在线精品一区二区三区不卡| 亚洲综合激情另类小说区| 国产亚洲成年网址在线观看| 69精品人人人人| 色素色在线综合| 国产区二精品视| 午夜欧美精品| 成人av电影免费观看| 美女高潮久久久| 亚洲午夜激情av| 国产片一区二区三区| 欧美美女视频在线观看| 久久久久看片| 亚洲第一黄色| 午夜日韩电影| 成人高清免费观看| 国内精品免费**视频| 一区二区三区免费看视频| 国产人成亚洲第一网站在线播放| 欧美一级欧美三级| 在线亚洲人成电影网站色www| 一区二区三区久久网| 欧美一区二区三区另类| 高清在线观看日韩| 亚洲一二三区在线观看| 国产精品青草综合久久久久99| 日韩中文字幕1| 亚洲专区欧美专区| 欧美经典一区二区| 成人app下载| 在线综合欧美| 六月丁香婷婷色狠狠久久| 成人毛片视频在线观看| 欧美成人首页| 久久综合色天天久久综合图片| 麻豆精品蜜桃视频网站| 色婷婷一区二区| 成人精品一区二区三区四区| 综合激情成人伊人| 亚洲国产精品激情在线观看| 精品国产免费人成电影在线观看四季| 欧美另类变人与禽xxxxx| 91福利国产精品| 久久资源av| 久久久噜噜噜| 国产精品日韩精品欧美精品| 国产日韩一区| 国产精品老牛| 国产一区二区三区久久| 国产精品夜夜夜一区二区三区尤| 日韩视频不卡| 国产精品日韩二区| 免费在线观看一区二区| 久久久国产亚洲精品| 亚洲欧美日韩在线综合| 性感少妇一区| 久久婷婷丁香| 在线欧美小视频| 欧美日韩黄色影视| 91精品久久久久久蜜臀| 51精品久久久久久久蜜臀| 56国语精品自产拍在线观看| 欧美日本精品一区二区三区| 91精品在线免费| 日韩免费成人网| 精品国产乱子伦一区| 精品欧美一区二区久久| 久久久亚洲精品石原莉奈| 国产色一区二区| 亚洲欧洲精品一区二区三区 | 亚洲一区精品在线| 五月开心婷婷久久| 麻豆91精品91久久久的内涵| 激情综合亚洲精品| 国产精品1区二区.| av一区二区三区在线| 欧美一区二区三区在线播放 | 欧美一区国产一区| 国产精品二区在线| 国产欧美另类| 91黄色激情网站| 在线电影一区二区三区| 精品捆绑美女sm三区| 中文成人综合网| 亚洲欧美一区二区在线观看|