python和websocket構(gòu)建實(shí)時(shí)日志跟蹤器的步驟
websocket 是一種網(wǎng)絡(luò)傳輸協(xié)議。可在單個(gè) TCP 連接上進(jìn)行全雙工通信。基于此,websocket 使得客戶端與服務(wù)端的通信變得更加簡(jiǎn)便和高效。
什么是 websocketwebsocket 是獨(dú)立的、創(chuàng)建在 TCP 上的協(xié)議。該協(xié)議在 2008 年誕生,并在 2011 年成為國(guó)際標(biāo)準(zhǔn)。它的一個(gè)主要特點(diǎn)是——全雙工,即一旦建立連接,服務(wù)端或客戶端可以主動(dòng)向?qū)Ψ酵扑拖ⅰ?/p>
在 websocket 出現(xiàn)之前,網(wǎng)站如果需要實(shí)現(xiàn)推送技術(shù),都是采用輪詢的方式,即瀏覽器每隔一段時(shí)間就向服務(wù)器發(fā)出請(qǐng)求。這種模式的缺點(diǎn)在于,瀏覽器需要不斷向服務(wù)器發(fā)送請(qǐng)求,消耗很多的帶寬資源。比較新的 Comet 技術(shù)雖然也可以實(shí)現(xiàn)雙向通信,但依然需要反復(fù)發(fā)送請(qǐng)求,并且 Comet 中普遍采用的 HTTP 長(zhǎng)連接也會(huì)消耗服務(wù)器資源。
基于以上的情況,HTML5 定義了 websocket 協(xié)議,能夠更好的節(jié)省服務(wù)器和帶寬資源。并且實(shí)現(xiàn)高效的實(shí)時(shí)通信。目前,所有的瀏覽器都支持它。
websocket 通信原理和機(jī)制websocket 雖然是一種新的協(xié)議,但它不能夠脫離 http 單獨(dú)存在,當(dāng)客戶端構(gòu)建一個(gè) websocket 實(shí)例,并且向服務(wù)端連接時(shí),會(huì)首先發(fā)起一個(gè) http 報(bào)文請(qǐng)求。告訴服務(wù)端需要將通信協(xié)議切換至 websocket。
如果服務(wù)端支持 websocket 協(xié)議,那么它會(huì)將通信協(xié)議切換至 websocket 并且返回響應(yīng)報(bào)文。此時(shí)的返回狀態(tài)碼是 101,表示同意協(xié)議轉(zhuǎn)換請(qǐng)求,接下來(lái)便可以進(jìn)行數(shù)據(jù)傳輸了。
websocket 之所以借助 HTTP 完成握手協(xié)議,是因?yàn)橛辛己玫募嫒菪裕J(rèn)端口是 80 和 443。握手階段不容易被防火墻屏蔽。
websocket 的特點(diǎn) 開(kāi)銷小,服務(wù)器和客戶端交換數(shù)據(jù)時(shí),協(xié)議包頭部包含較少的信息 實(shí)時(shí)性高,協(xié)議采用全雙工,相對(duì)于 http 請(qǐng)求客戶端發(fā)起請(qǐng)求,服務(wù)端才能響應(yīng)的模式,延遲明顯更低 與 HTTP 有良好的兼容性,默認(rèn)端口是 80 和 443。握手采用 HTTP 協(xié)議,不容易被防火墻屏蔽 支持文本和二進(jìn)制數(shù)據(jù)傳輸 支持自定義拓展,用戶可以自己實(shí)現(xiàn)自定義的子協(xié)議 通過(guò)心跳機(jī)制保持服務(wù)端與客戶端的長(zhǎng)連接 構(gòu)建實(shí)時(shí)日志跟蹤的小例子服務(wù)端開(kāi)啟一個(gè)監(jiān)聽(tīng)日志腳本的服務(wù),服務(wù)會(huì)限制允許訪問(wèn)的路徑范圍(防止黑客利用程序漏洞,掃描整個(gè)服務(wù)器);服務(wù)器通過(guò)解析客戶端的請(qǐng)求,返回日志的消息內(nèi)容給客戶端;服務(wù)器定時(shí)發(fā)送心跳檢測(cè)給客戶端,如果沒(méi)有收到客戶端的響應(yīng),則斷開(kāi)連接
服務(wù)端核心程序代碼邏輯如下
with open(file_path) as f: # 首次讀取指定行數(shù)(NUM_LINES)的日志文件,發(fā)送給客戶端 content = ’’.join(deque(f, NUM_LINES)) content = conv.convert(content, full=False) await websocket.send(content) # 如果發(fā)現(xiàn)客戶端有 tail 請(qǐng)求,則進(jìn)行 tail 日志追蹤 if tail:# 首先創(chuàng)建發(fā)起這次請(qǐng)求的心跳時(shí)間last_heartbeat = time.time()while True: # 每次 tail 服務(wù)端最新的日志記錄,返回給客戶端 content = f.read() if content:content = conv.convert(content, full=False)await websocket.send(content) else:await asyncio.sleep(1) # 檢測(cè)這次請(qǐng)求距上一次發(fā)起請(qǐng)求,是不是已經(jīng)超過(guò)了最長(zhǎng)心跳檢測(cè)時(shí)長(zhǎng),如果是,發(fā)起心跳檢測(cè) if time.time() - last_heartbeat > HEARTBEAT_INTERVAL:try: await websocket.send(’ping’) pong = await asyncio.wait_for(websocket.recv(), 5) logger.info(f'pong:{pong}') if pong != ’pong’:raise Exception()except Exception: raise Exception(’Ping error’)else: last_heartbeat = time.time() else:await websocket.close()
客戶端就非常簡(jiǎn)單了,監(jiān)聽(tīng)服務(wù)端日志的文件,發(fā)現(xiàn)有新的日志產(chǎn)生則輸出日志或者直接將日志實(shí)時(shí)展示在前端頁(yè)面上。相應(yīng)地,如果需要長(zhǎng)期監(jiān)聽(tīng),那么當(dāng)服務(wù)端發(fā)送心跳檢測(cè)的信號(hào)過(guò)來(lái),也需要回應(yīng)響應(yīng)的心跳反饋
客戶端核心代碼邏輯如下
async def consumer_handler(websocket: WebSocketClientProtocol) -> None: async for message in websocket:log_message(message)if message == 'ping': await websocket.send('pong')async def cousume(hostname: str, port: int, log_file: str, tail:bool=True) -> None: websocket_resource_url = f'ws://{hostname}:{port}{log_file}' if tail:websocket_resource_url = f'{websocket_resource_url}?tail=1' async with websockets.connect(websocket_resource_url) as websocket:await consumer_handler(websocket)def log_message(message: str) -> None: logger.info(f'Message: {message}')
這里模擬一個(gè)日志生產(chǎn)文件
代碼邏輯如下
import osfrom loguru import loggerclass LoggerExtend(object): # 存放目錄名稱 folder = ’../logs’ def __init__(self, filename, folder=None):self.folder = folder or self.folderif not os.path.exists(self.folder): os.mkdir(self.folder)self.file = self.folder + ’/’ + filenamelogger.add(self.file, rotation='100 MB') @property def get_logger(self):return loggerif __name__ == ’__main__’: logger = LoggerExtend(os.path.basename(__file__).replace('.py', '.log')).get_logger import time while True:logger.info('你好aaa')
最后依次啟動(dòng)日志生產(chǎn)程序→服務(wù)端程序→客戶端程序
日志生產(chǎn)文件啟動(dòng)后,運(yùn)行效果如下

服務(wù)端啟動(dòng)程序運(yùn)行,無(wú)運(yùn)行日志產(chǎn)生
這時(shí)候啟動(dòng)客戶端程序,運(yùn)行效果如下

完整代碼請(qǐng)移步至 GitHub 查看
https://github.com/hacksman/l...
日志生產(chǎn)程序路徑:
common/logger_extend.py
服務(wù)端程序路徑:
websoctet_lab/log_server.py
客戶端程序路徑:
websoctet_lab/cousumer_log_view.py
以上就是python和websocket構(gòu)建實(shí)時(shí)日志跟蹤器的步驟的詳細(xì)內(nèi)容,更多關(guān)于python 構(gòu)建實(shí)時(shí)日志跟蹤器的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章!
相關(guān)文章:
1. ASP動(dòng)態(tài)網(wǎng)頁(yè)制作技術(shù)經(jīng)驗(yàn)分享2. vue項(xiàng)目登錄成功拿到令牌跳轉(zhuǎn)失敗401無(wú)登錄信息的解決3. php使用正則驗(yàn)證密碼字段的復(fù)雜強(qiáng)度原理詳細(xì)講解 原創(chuàng)4. JSP+Servlet實(shí)現(xiàn)文件上傳到服務(wù)器功能5. 淺談?dòng)蓀osition屬性引申的css進(jìn)階討論6. ASP 信息提示函數(shù)并作返回或者轉(zhuǎn)向7. 基于javaweb+jsp實(shí)現(xiàn)企業(yè)財(cái)務(wù)記賬管理系統(tǒng)8. CSS可以做的幾個(gè)令你嘆為觀止的實(shí)例分享9. vue前端RSA加密java后端解密的方法實(shí)現(xiàn)10. asp批量添加修改刪除操作示例代碼

網(wǎng)公網(wǎng)安備