成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久

您的位置:首頁技術文章
文章詳情頁

python使用selenium爬蟲知乎的方法示例

瀏覽:173日期:2022-07-06 18:50:26

說起爬蟲一般想到的情況是,使用 python 中都通過 requests 庫獲取網頁內容,然后通過 beautifulSoup 進行篩選文檔中的標簽和內容。但是這樣有個問題就是,容易被反扒機制所攔住。

反扒機制有很多種,例如知乎:剛開始只加載幾個問題,當你往下滾動時才會繼續往下面加載,而且在往下滾動一段距離時就會出來一個登陸的彈框。

這樣的機制對于通過獲取服務器返回內容的爬蟲方式進行了限制,我們只能獲得前幾個回答,而沒辦法或許后面的回答。

所以需要使用 selenium 模擬真實瀏覽器進行操作。

最終實現效果如下:

python使用selenium爬蟲知乎的方法示例

前提是需要自行搜索教程安裝:

chromeDriver selenium 庫

想要使用下面代碼的可以直接修改 driver.get() 里的地址,然后爬取結果最終會存在message.txt文件中

代碼如下:

from selenium import webdriver # 從selenium導入webdriverfrom selenium.webdriver.common.by import By # 內置定位器策略集from selenium.webdriver.support.wait import WebDriverWait # 用于實例化一個Driver的顯式等待from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.action_chains import ActionChainsimport timeoption = webdriver.ChromeOptions()option.add_argument('headless')driver = webdriver.Chrome() # chrome_options=option 這個參數設置之后可以隱藏瀏覽器driver.get(’https://www.zhihu.com/question/22110581’) #修改這里的地址file = open('./messages.txt', 'w')def waitFun(): js = ''' let equalNum = 0; window.checkBottom = false; window.height = 0; window.intervalId = setInterval(()=>{ let currentHeight = document.body.scrollHeight; if(currentHeight === window.height){ equalNum++; if(equalNum === 2){clearInterval(window.intervalId);window.checkBottom = true; } }else{ window.height = currentHeight; window.scrollTo(0,window.height); window.scrollTo(0,window.height-1000); } },1500)''' # 這個暫停一下是因為要等待頁面將下面的內容加載出,這個 1500 可以根據自己的網絡快慢進行適當的調節 # 這里需要往上移動一下,因為不往上移動一下發現不會加載。 driver.execute_script(js)# selenium 可以獲取 瀏覽器中 js 的變量。調用的js returndef getHeight(nice): # 這里獲取 js 中的 checkBottom 變量,作為到底部時進行停止。 js = ''' return window.checkBottom; ''' return driver.execute_script(js)try: # 先觸發登陸彈窗。 WebDriverWait(driver, 40, 1).until(EC.presence_of_all_elements_located( (By.CLASS_NAME, ’Modal-backdrop’)), waitFun()) # 點擊空白關閉登陸窗口 ActionChains(driver).move_by_offset(200, 100).click().perform() # 當滾動到底部時 WebDriverWait(driver, 40, 3).until(getHeight, waitFun()) # 獲取回答 answerElementArr = driver.find_elements_by_css_selector(’.RichContent-inner’) for answer in answerElementArr: file.write(’==================================================================================’) file.write(’n’) file.write(answer.text) file.write(’n’) print(’爬取成功 ’+ str(len(answerElementArr)) +’ 條,存入到 message.txt 文件內’)finally: driver.close() #close the driver

這套代碼實現了打開知乎,然后自動向下滑動,當彈出登陸框時,自動點擊左上角關閉登陸框。然后繼續向下滑動,加載頁面,直到滑動到底部。然后將內容寫在 message.txt 文件里面。

selenium 功能非常強大, 可以模擬人為在瀏覽器的操作,進行輸入、點擊、滑動、播放、暫停等等操作,因此也可以用來寫一些腳本,用來刷學時,搶課等等。

到此這篇關于python使用selenium爬蟲知乎的方法示例的文章就介紹到這了,更多相關python selenium爬蟲知乎內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: python
相關文章:
成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久
美女视频一区二区| 国产精品色一区二区三区| 5月丁香婷婷综合| 亚洲一卡二卡三卡四卡无卡久久| 欧美日本亚洲| 国产色一区二区| 99久久99久久久精品齐齐| 日韩免费观看2025年上映的电影| 国产精品亚洲午夜一区二区三区 | 国产美女精品一区二区三区| 欧美午夜精品一区二区三区| 免费在线成人网| 在线中文字幕一区| 日韩高清一区二区| 在线观看国产日韩| 老司机精品视频在线| 欧美日韩一区二区三区在线看| 视频一区二区三区在线| 色综合av在线| 美女久久久精品| 欧美日韩一区二区不卡| 韩国成人精品a∨在线观看| 欧美日韩1234| 成人丝袜视频网| 久久亚洲精华国产精华液| 99久久99久久精品免费观看| 久久久久青草大香线综合精品| 97精品久久久午夜一区二区三区 | 亚洲天堂成人在线观看| 一区二区三区|亚洲午夜| 一区二区三区四区视频精品免费| 国产精品腿扒开做爽爽爽挤奶网站| 亚洲午夜激情网站| 91福利在线播放| 国内精品写真在线观看| 日韩免费看的电影| 你懂的国产精品| 国产精品久久久久一区二区三区| 亚洲激情一区| 亚洲18女电影在线观看| 91久久精品一区二区| 国产伦精品一区二区三区免费| 欧美成人a视频| 红桃视频亚洲| 亚洲成av人片观看| 欧美日韩国产不卡| www.色精品| 亚洲视频在线观看三级| 免费在线国产精品| 激情五月婷婷综合网| 欧美一区二区二区| 亚洲欧美亚洲| 亚洲女人****多毛耸耸8| 久久国产高清| 国产一区二区三区精品视频| 久久久99精品久久| 一区二区三区四区五区在线| 美女一区二区三区| 精品国产乱码久久久久久免费| 在线播放亚洲| 麻豆成人在线观看| 亚洲精品一区二区三区四区高清| 亚洲黄色成人久久久| 日韩经典中文字幕一区| 欧美一二三在线| 国产一区二区三区四区老人| 亚洲大型综合色站| 3atv一区二区三区| 国内精品久久久久国产盗摄免费观看完整版 | 亚洲一二三四在线| 美腿丝袜在线亚洲一区| 久久在线免费观看| 亚洲欧美日韩国产一区| 国产精品一区免费在线观看| 中国av一区二区三区| 色94色欧美sute亚洲线路二| 99在线精品观看| 亚洲国产精品一区二区久久| 91.成人天堂一区| 亚洲高清不卡| 九色porny丨国产精品| 国产午夜亚洲精品羞羞网站| 亚洲欧美精品| 成人午夜激情视频| 亚洲国产精品久久艾草纯爱 | 欧美精品久久99久久在免费线| 欧美人与禽猛交乱配| 免费不卡在线视频| 国产日韩v精品一区二区| 色视频成人在线观看免| 欧美一区二区在线| 亚洲mv在线观看| 精品久久久久av影院| 国产精品毛片在线| 成人动漫在线一区| 亚洲风情在线资源站| 精品国产91洋老外米糕| 免费久久久一本精品久久区| 成人av免费观看| 五月婷婷久久丁香| 国产欧美精品国产国产专区| 欧美亚洲高清一区| 亚洲高清自拍| 成人激情小说乱人伦| 亚洲成人7777| 国产日韩欧美精品综合| 欧美亚洲自拍偷拍| 亚洲高清视频在线观看| 国产a精品视频| 婷婷开心激情综合| 国产精品理论在线观看| 91精品免费在线| 老司机一区二区三区| 午夜日韩av| 国产精品一级黄| 日韩黄色小视频| 18欧美乱大交hd1984| 日韩精品一区二区在线观看| 久久综合狠狠| 最新亚洲一区| www.亚洲在线| 老色鬼精品视频在线观看播放| 亚洲精品你懂的| 久久久久久久综合| 91精品欧美福利在线观看| 久久九九国产| 亚洲精品影院在线观看| 99久久精品国产麻豆演员表| 久久av中文字幕片| 午夜视频一区二区三区| 中文字幕佐山爱一区二区免费| 26uuu国产电影一区二区| 欧美人妇做爰xxxⅹ性高电影| 免费看亚洲片| 亚洲成色www久久网站| 97精品电影院| 国产精品1区2区| 六月婷婷色综合| 五月天欧美精品| 一区二区三区波多野结衣在线观看| 久久精品亚洲乱码伦伦中文| 欧美一区二区三区啪啪| 在线免费观看视频一区| 另类国产ts人妖高潮视频| 亚洲国产精选| 欧美日韩国产亚洲一区| 97超碰欧美中文字幕| 国产成人av一区| 国产自产视频一区二区三区| 日本免费在线视频不卡一不卡二| 亚洲一级电影视频| 亚洲精品福利视频网站| 18欧美乱大交hd1984| 欧美国产日韩亚洲一区| 久久久国产一区二区三区四区小说| 日韩一区国产二区欧美三区| 欧美日韩国产一区| 精品视频在线免费看| 在线中文字幕一区| 色八戒一区二区三区| 色婷婷综合久久久久中文 | 日韩三级在线免费观看| 欧美欧美欧美欧美首页| 欧美日韩免费高清一区色橹橹 | 国产精品a级| 欧美sm重口味系列视频在线观看| av成人老司机| 99精品黄色片免费大全| 99综合影院在线| 99久久99久久久精品齐齐| 成人app在线| 99re这里只有精品6| 91网上在线视频| 91丝袜美女网| 91老师国产黑色丝袜在线| 99国产精品视频免费观看| 97久久精品人人做人人爽| 色综合天天视频在线观看| 91浏览器打开| 国产一区日韩欧美| 激情综合久久| 一区二区三区四区五区精品视频| 夜夜精品视频| 欧美专区18| 欧美亚洲自拍偷拍| 欧美日韩成人在线一区| 91精选在线观看| 亚洲精品在线三区| 欧美国产禁国产网站cc| 中文字幕一区二区不卡| 伊人开心综合网| 图片区日韩欧美亚洲| 秋霞av亚洲一区二区三| 国产在线国偷精品免费看| 国产91精品免费| 欧美韩日精品| 99伊人成综合| 色视频一区二区| 555www色欧美视频| 久久人人97超碰com|