成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久

您的位置:首頁技術文章
文章詳情頁

python+selenium爬取微博熱搜存入Mysql的實現方法

瀏覽:2日期:2022-06-29 08:20:33

最終的效果

廢話不多少,直接上圖

python+selenium爬取微博熱搜存入Mysql的實現方法

這里可以清楚的看到,數據庫里包含了日期,內容,和網站link下面我們來分析怎么實現

使用的庫

import requestsfrom selenium.webdriver import Chrome, ChromeOptionsimport timefrom sqlalchemy import create_engineimport pandas as pd

目標分析

這是微博熱搜的link:點我可以到目標網頁

python+selenium爬取微博熱搜存入Mysql的實現方法

首先我們使用selenium對目標網頁進行請求然后我們使用xpath對網頁元素進行定位,遍歷獲得所有數據然后使用pandas生成一個Dataframe對像,直接存入數據庫

一:得到數據

python+selenium爬取微博熱搜存入Mysql的實現方法

我們看到,使用xpath可以得到51條數據,這就是各熱搜,從中我們可以拿到鏈接和標題內容

all = browser.find_elements_by_xpath(’//*[@id='pl_top_realtimehot']/table/tbody/tr/td[2]/a’) #得到所有數據context = [i.text for i in c] # 得到標題內容 links = [i.get_attribute(’href’) for i in c] # 得到link

然后我們再使用zip函數,將date,context,links合并zip函數是將幾個列表合成一個列表,并且按index對分列表的數據合并成一個元組,這個可以生產pandas對象。

dc = zip(dates, context, links) pdf = pd.DataFrame(dc, columns=[’date’, ’hotsearch’, ’link’])

其中date可以使用time模塊獲得

二:鏈接數據庫

這個很容易

enging = create_engine('mysql+pymysql://root:123456@localhost:3306/webo?charset=utf8')pdf.to_sql(name=’infromation’, con=enging, if_exists='append')

總代碼

from selenium.webdriver import Chrome, ChromeOptionsimport timefrom sqlalchemy import create_engineimport pandas as pddef get_data(): url = r'https://s.weibo.com/top/summary' # 微博的地址 option = ChromeOptions() option.add_argument(’--headless’) option.add_argument('--no-sandbox') browser = Chrome(options=option) browser.get(url) all = browser.find_elements_by_xpath(’//*[@id='pl_top_realtimehot']/table/tbody/tr/td[2]/a’) context = [i.text for i in all] links = [i.get_attribute(’href’) for i in all] date = time.strftime('%Y-%m-%d-%H_%M_%S', time.localtime()) dates = [] for i in range(len(context)): dates.append(date) # print(len(dates),len(context),dates,context) dc = zip(dates, context, links) pdf = pd.DataFrame(dc, columns=[’date’, ’hotsearch’, ’link’]) # pdf.to_sql(name=in, con=enging, if_exists='append') return pdfdef w_mysql(pdf): try: enging = create_engine('mysql+pymysql://root:123456@localhost:3306/webo?charset=utf8') pdf.to_sql(name=’infromation’, con=enging, if_exists='append') except: print(’出錯了’)if __name__ == ’__main__’: xx = get_data() w_mysql(xx)

到此這篇關于python+selenium爬取微博熱搜存入Mysql的實現方法的文章就介紹到這了,更多相關python selenium爬取微博熱搜存入Mysql內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: 微博 Python
相關文章:
成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久
日韩一区二区免费高清| 欧美日韩在线播放一区二区| 国产一区二区成人久久免费影院| av成人天堂| 国产欧美一区二区三区鸳鸯浴 | 91影院在线免费观看| 欧美色成人综合| 麻豆91在线看| 91成人免费在线视频| 欧美aⅴ一区二区三区视频| 色呦呦国产精品| 日本不卡高清视频| 一本色道久久综合亚洲91| 三级久久三级久久| 91黄视频在线观看| 日本成人在线电影网| 欧洲色大大久久| 久久国产免费看| 欧美老年两性高潮| 国产91综合网| 久久婷婷综合激情| 午夜精品亚洲一区二区三区嫩草| 久久一区二区三区国产精品| 成人激情电影免费在线观看| www激情久久| 欧美三日本三级少妇三99| 国产精品视频线看| 国产综合精品一区| 亚洲免费观看高清| 性欧美精品高清| 日韩不卡一二三区| 555www色欧美视频| www.成人在线| 国产精品激情偷乱一区二区∴| 亚洲国产欧洲综合997久久| 一区二区在线免费观看| 老司机一区二区三区| 日本不卡不码高清免费观看| 欧美日韩国产欧美日美国产精品| 国产91对白在线观看九色| 久久久久久久久久久黄色 | 久久久777| 麻豆精品一区二区| 欧美一卡二卡在线| 欧美永久精品| 亚洲精品国产精华液| 久久久久国产精品一区二区| 韩国v欧美v日本v亚洲v| 精品999在线播放| 亚洲国产影院| 免费看精品久久片| 日韩视频不卡中文| 亚洲视频一区| 石原莉奈一区二区三区在线观看| 69久久99精品久久久久婷婷| 91网站黄www| 亚洲精品ww久久久久久p站| 色域天天综合网| 国v精品久久久网| 中文字幕一区二区在线播放 | 91色综合久久久久婷婷| 中文字幕制服丝袜成人av| 亚洲欧美卡通另类91av| 国内精品不卡在线| 中文字幕av一区 二区| 久久高清免费观看| 丰满白嫩尤物一区二区| 亚洲人成网站影音先锋播放| 欧美日韩在线精品一区二区三区激情| av在线综合网| 亚洲一二三区视频在线观看| 欧美精品黑人性xxxx| 欧美日韩视频| 蜜桃一区二区三区在线| 精品乱码亚洲一区二区不卡| aa成人免费视频| 国产一区二区三区蝌蚪| 国产精品久久一卡二卡| 在线免费观看一区| 欧美精品一线| 欧美aaaaa成人免费观看视频| 精品粉嫩aⅴ一区二区三区四区| 一区二区三区久久网| 国产在线观看一区二区| 中文字幕乱码一区二区免费| 一本大道久久精品懂色aⅴ| 99久久久免费精品国产一区二区| 亚洲综合视频在线| 日韩精品中文字幕一区二区三区 | 亚洲美女少妇撒尿| 这里只有精品免费| 亚洲精品免费观看| 激情成人综合网| 亚洲人成网站精品片在线观看| 欧美久久婷婷综合色| 亚洲日韩成人| 成人午夜在线播放| 亚洲第一精品在线| 国产喷白浆一区二区三区| 91久久精品一区二区三| 国产精品初高中精品久久| 久久66热偷产精品| 一区二区三区在线视频播放| 日韩精品一区二区三区在线观看 | 日本欧美一区二区在线观看| 久久久激情视频| 欧美午夜免费电影| 亚洲精品影视| av电影一区二区| 日本在线播放一区二区三区| 国产精品久久久久久亚洲伦| 3d动漫精品啪啪| 另类亚洲自拍| 国产精品videossex久久发布| 国产一区二区伦理| 亚洲成人av一区二区| 国产嫩草影院久久久久| 欧美男男青年gay1069videost| 一区二区三区四区五区精品视频 | 欧美黄色大片网站| 国产美女精品一区二区三区| 亚洲国产精品一区二区www在线 | 麻豆精品在线看| 亚洲精品福利视频网站| 久久久久久久久蜜桃| 欧美丰满高潮xxxx喷水动漫| 久久精品首页| 日韩天天综合| 欧美日韩视频| 成人av资源网站| 久久99久久99| 午夜欧美2019年伦理| 成人欧美一区二区三区黑人麻豆 | 欧美三级欧美一级| 性一交一乱一区二区洋洋av| 国精品一区二区| www.亚洲免费av| 国产美女视频一区| 欧美aⅴ一区二区三区视频| 亚洲一二三专区| 亚洲人妖av一区二区| 国产亚洲精品免费| 精品国产乱码久久久久久闺蜜| 欧美二区在线观看| 欧美影院午夜播放| 久久亚洲一区二区| 麻豆9191精品国产| 国产女优一区| 国产情侣久久| 99riav国产精品| 狠狠色狠狠色综合人人| 91麻豆文化传媒在线观看| 懂色av一区二区夜夜嗨| 国产精品一区专区| 国产一区二区三区免费| 久久av中文字幕片| 奇米在线7777在线精品| 午夜精品一区在线观看| 亚洲国产精品一区二区尤物区| 有码一区二区三区| 亚洲精品免费看| 亚洲日本在线视频观看| 中文字幕中文字幕在线一区| 国产精品青草久久| 国产精品每日更新| 中文幕一区二区三区久久蜜桃| 国产无遮挡一区二区三区毛片日本| 精品理论电影在线| 久久亚区不卡日本| 国产亚洲人成网站| 中文字幕的久久| 国产精品网站导航| 中文字幕一区视频| 亚洲欧美成aⅴ人在线观看| 亚洲欧美日韩中文播放| 亚洲精品v日韩精品| 一片黄亚洲嫩模| 午夜免费久久看| 蜜臀久久久99精品久久久久久| 蜜臀国产一区二区三区在线播放| 美国三级日本三级久久99| 久久99国产精品久久99| 国产一区二区看久久| 春色校园综合激情亚洲| av不卡免费电影| 国产综合久久| 亚洲免费高清| 蜜桃av久久久亚洲精品| 91福利在线观看| 欧美猛男男办公室激情| 日韩欧美精品在线视频| 久久久久久免费网| 国产精品入口麻豆九色| 一区二区三区蜜桃| 舔着乳尖日韩一区| 久久精品国产一区二区| 国产69精品久久777的优势| 色综合一个色综合| 激情久久一区| 久久精品日产第一区二区|