目錄進(jìn)程通信進(jìn)程雙向通信存在問題總結(jié)

第三方數(shù)據(jù)供應(yīng)商把數(shù)據(jù)和Python封裝到一起，只能通過調(diào)用 Python方法來實(shí)現(xiàn)數(shù)據(jù)查詢，如果可以通過Node 簡(jiǎn)單封裝下實(shí)現(xiàn) Python 方法調(diào)用可以快速上線并節(jié)省開發(fā)成本。

最簡(jiǎn)單粗暴的通信方式是 Nodejs調(diào)用一下 Python 腳本，然后獲取子進(jìn)程的輸出，但是由于每次 Python 啟動(dòng)并加載數(shù)據(jù)包的過程比較漫長(zhǎng)，所以對(duì)該過程優(yōu)化。

進(jìn)程通信

index.py

# 封裝的 Python 包， 體積巨大from mb import MB# 從數(shù)據(jù)包中查詢mbe.get(’1.0.1.0’)

index.js

const { spawn } = require(’child_process’);const ls = spawn(’python3’, [’index.py’]);ls.stdout.on(’data’, (data) => { console.log(`stdout: ${data}`);});ls.stderr.on(’data’, (data) => { console.error(`stderr: ${data}`);});ls.on(’close’, (code) => { console.log(`child process exited with code $[code]`);});

通過child_process.spawn來派生 Python 子進(jìn)程，監(jiān)聽 stdout 輸出。上述方式也是官方文檔中的示例，目前該示例存在兩個(gè)問題:

Nodejs 沒有向 Python 發(fā)送數(shù)據(jù)Nodejs 調(diào)用完畢后，Python 子進(jìn)程會(huì)退出；下次查詢需要再次調(diào)用Python命令進(jìn)行加載文件，查詢數(shù)據(jù)；無(wú)法實(shí)現(xiàn)一次內(nèi)存加載，多次使用。進(jìn)程雙向通信

保證一次數(shù)據(jù)加載，多次使用的前提是 Python 進(jìn)程啟動(dòng)后不能退出。Python 進(jìn)程之所以退出是因?yàn)闊o(wú)事可做，所以常見的手段有循環(huán)，sleep，監(jiān)聽端口，這些手段可以翻譯成同步阻塞任務(wù)，同步非阻塞任務(wù)，其中代價(jià)最小的就是同步非阻塞任務(wù)，然后可以想到 Linux 的 select，epoll，簡(jiǎn)單搜索了下 Python 的 epoll，好像還有原生的包。

index.py - 通過 epoll 監(jiān)聽 stdin

import sysimport fcntlimport selectfrom mb import MBimport jsonmbe = MB(’./data’)# epoll 模型fd = sys.stdin.fileno()epoll = select.epoll()epoll.register(fd, select.EPOLLIN)try: while True:events = epoll.poll(10) # 同步非阻塞data = ’’for fileno, event in events: data += sys.stdin.readline() # 通過標(biāo)準(zhǔn)輸入獲取數(shù)據(jù) if data == ’’ or data == ’n’:continue items = xxx # 數(shù)處理過程 for item in items:result = mbe.get(item)sys.stdout.write(json.dumps(result, ensure_ascii=False) +’n’) # 寫入到標(biāo)準(zhǔn)輸出sys.stdout.flush() # 緩沖區(qū)刷新finally: epoll.unregister(fd) epoll.close()

index.js - 通過 stdin 發(fā)送數(shù)據(jù)

const child_process = require(’child_process’);const child = child_process.spawn(’python3’, [’./base.py’]);let callbacks = [], chunks=Buffer.alloc(0), chunkArr = [], data = ’’, onwork = false; // buffer 無(wú)法動(dòng)態(tài)擴(kuò)容 child.stdout.on(’data’, (chunk) => { chunkArr.push(chunk) if (onwork) return; onwork = true; while(chunkArr.length) {chunks = Buffer.concat([chunks, chunkArr.pop()]);const length = chunks.length;let trunkAt = -1;for(const [k, d] of chunks.entries()) { if (d == ’0x0a’) { // 0a 結(jié)尾data += chunks.slice(trunkAt+1, trunkAt=k);const cb = callbacks.shift();cb(null, data === ’null’ ? null : data )data = ’’; }}if (trunkAt < length) { chunks = chunks.slice(trunkAt+1)} } onwork = false;})setInterval(() => { if (callbacks.length) child.stdin.write(`n`); // Nodejs端的標(biāo)準(zhǔn)輸入輸出沒有flush方法，只能 hack， 寫入后python無(wú)法及時(shí)獲取到最新}, 500)exports.getMsg = function getMsg(ip, cb) { callbacks.push(cb) child.stdin.write(`${ip}n`); // 把數(shù)據(jù)寫入到子進(jìn)程的標(biāo)準(zhǔn)輸入}

Python 與 Nodejs 通過 stdio 實(shí)現(xiàn)通信； Python 通過 epoll 監(jiān)聽 stdin 實(shí)現(xiàn)駐留內(nèi)存，長(zhǎng)時(shí)間運(yùn)行。

存在問題 Nodejs 把標(biāo)準(zhǔn)輸出作為執(zhí)行結(jié)果，故 Python 端只能把執(zhí)行結(jié)果寫入標(biāo)準(zhǔn)輸出，不能有額外的打印信息 Nodejs 端標(biāo)準(zhǔn)輸入沒有 flush 方法，所以 Python 端事件觸發(fā)不夠及時(shí)，目前通過在Nodejs端定時(shí)發(fā)送空信息來 hack 實(shí)現(xiàn) Buffer 沒法動(dòng)態(tài)擴(kuò)容，沒有C語(yǔ)言的指針好用，在解析 stdout 時(shí)寫丑總結(jié)

雖然可以實(shí)現(xiàn) Nodejs 和 Python 的雙向通信，然后由于上述種種問題，在這里并不推薦使用這種方式，通過 HTTP 或 Socket 方式比這個(gè)香多了。

到此這篇關(guān)于Nodejs與Python 雙向通信的實(shí)現(xiàn)代碼的文章就介紹到這了,更多相關(guān)Nodejs與Python雙向通信內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！