文章詳情頁
python - celery工作流的問題
瀏覽:128日期:2022-09-12 10:43:10
問題描述
celery中,我做這樣的處理:一個url經過a, b, c三個的函數,分別獲得返回值,其中任意函數結果均與任意其他函數結果不相關,然后匯總起來,交給之后的流程.這樣,我自然想到并行運行三個函數來加快處理速度.然而由于一開始的設計問題, a函數式被設計成了一次可以處理多個url的形式,而一個一個的處理會非常慢.
@celery.taskdef a(url_list): ’...do something...’ for url in url_list:b.delay(url)
我嘗試這樣控制,然而任務似乎并不能嵌套.那么,如何設計可以比較好的滿足我這種比較奇怪的流程和要求呢?
問題解答
回答1:應該把a;b;c拆開,寫成3個task, 同時數據庫里要保存一個狀態值,用來表示3個任務的執行狀態,一個任務執行完成后,就修改狀態值,并檢查其他2個任務是否完成,如果都完成了,就匯總任務結果,再處理。
回答2:@xiaoboost 手工維護狀態可行,但有點費事。
Celery 是可以設計執行流程的,參考文檔:Designing Work-flows題主的需求可以用 chords 搞定,在 celery task 里返回值就行。
BTW: 注意一下 Celery 配置中與返回值相關的幾個選項,比如這個 task_ignore_result
相關文章:
1. windows誤人子弟啊2. php傳對應的id值為什么傳不了啊有木有大神會的看我下方截圖3. 如何用筆記本上的apache做微信開發的服務器4. python - linux 下用wsgifunc 運行web.py該如何修改代碼5. 關于mysql聯合查詢一對多的顯示結果問題6. 實現bing搜索工具urlAPI提交7. 冒昧問一下,我這php代碼哪里出錯了???8. mysql優化 - MySQL如何為配置表建立索引?9. MySQL主鍵沖突時的更新操作和替換操作在功能上有什么差別(如圖)10. 數據庫 - Mysql的存儲過程真的是個坑!求助下面的存儲過程哪里錯啦,實在是找不到哪里的問題了。
排行榜
