不可錯(cuò)過的新一代分布式任務(wù)調(diào)度與計(jì)算框架

作者：佚名 2020-06-23 10:22:58

新聞

前端

分布式 PowerJob（原OhMyScheduler）是全新一代分布式調(diào)度與計(jì)算框架，能讓您輕松完成作業(yè)的調(diào)度與繁雜任務(wù)的分布式計(jì)算。

寧鄉(xiāng)ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)建站的ssl證書銷售渠道，可以享受市場價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

 [[331036]]

PowerJob（原OhMyScheduler）是全新一代分布式調(diào)度與計(jì)算框架，能讓您輕松完成作業(yè)的調(diào)度與繁雜任務(wù)的分布式計(jì)算。

項(xiàng)目地址：

https://GitHub.com/KFCFans/PowerJob?utm_source=tuicool&utm_medium=referral

簡介

主要特性

• 使用簡單：提供前端Web界面，允許開發(fā)者可視化地完成調(diào)度任務(wù)的管理（增、刪、改、查）、任務(wù)運(yùn)行狀態(tài)監(jiān)控和運(yùn)行日志查看等功能。
• 定時(shí)策略完善：支持CRON表達(dá)式、固定頻率、固定延遲和API四種定時(shí)調(diào)度策略。
• 執(zhí)行模式豐富：支持單機(jī)、廣播、Map、MapReduce四種執(zhí)行模式，其中Map/MapReduce處理器能使開發(fā)者寥寥數(shù)行代碼便獲得集群分布式計(jì)算的能力。
• DAG工作流支持：支持在線配置任務(wù)依賴關(guān)系，可視化得對任務(wù)進(jìn)行編排，同時(shí)還支持上下游任務(wù)間的數(shù)據(jù)傳遞
• 執(zhí)行器支持廣泛：支持Spring Bean、內(nèi)置/外置Java類、Shell、Python等處理器，應(yīng)用范圍廣。
• 運(yùn)維便捷：支持在線日志功能，執(zhí)行器產(chǎn)生的日志可以在前端控制臺(tái)頁面實(shí)時(shí)顯示，降低debug成本，極大地提高開發(fā)效率。
• 依賴精簡：最小僅依賴關(guān)系型數(shù)據(jù)庫（MySQL/Oracle/MS SQLServer...），擴(kuò)展依賴為MongoDB（用于存儲(chǔ)龐大的在線日志）。
• 高可用&高性能：調(diào)度服務(wù)器經(jīng)過精心設(shè)計(jì)，一改其他調(diào)度框架基于數(shù)據(jù)庫鎖的策略，實(shí)現(xiàn)了無鎖化調(diào)度。部署多個(gè)調(diào)度服務(wù)器可以同時(shí)實(shí)現(xiàn)高可用和性能的提升（支持無限的水平擴(kuò)展）。
• 故障轉(zhuǎn)移與恢復(fù)：任務(wù)執(zhí)行失敗后，可根據(jù)配置的重試策略完成重試，只要執(zhí)行器集群有足夠的計(jì)算節(jié)點(diǎn)，任務(wù)就能順利完成。

適用場景

• 有定時(shí)執(zhí)行需求的業(yè)務(wù)場景：如每天凌晨全量同步數(shù)據(jù)、生成業(yè)務(wù)報(bào)表等。
• 有需要全部機(jī)器一同執(zhí)行的業(yè)務(wù)場景：如使用廣播執(zhí)行模式清理集群日志。
• 有需要分布式處理的業(yè)務(wù)場景：比如需要更新一大批數(shù)據(jù)，單機(jī)執(zhí)行耗時(shí)非常長，可以使用Map/MapReduce處理器完成任務(wù)的分發(fā)，調(diào)動(dòng)整個(gè)集群加速計(jì)算。

同類產(chǎn)品對比

	QuartZ	xxl-job	SchedulerX 2.0	PowerJob
定時(shí)類型	CRON	CRON	CRON、固定頻率、固定延遲、OpenAPI	CRON、固定頻率、固定延遲、OpenAPI
任務(wù)類型	內(nèi)置Java	內(nèi)置Java、GLUE Java、Shell、Python等腳本	內(nèi)置Java、外置Java（FatJar）、Shell、Python等腳本	內(nèi)置Java、外置Java（容器）、Shell、Python等腳本
分布式任務(wù)	無	靜態(tài)分片	MapReduce動(dòng)態(tài)分片	MapReduce動(dòng)態(tài)分片
在線任務(wù)治理	不支持	支持	支持	支持
日志白屏化	不支持	支持	不支持	支持
調(diào)度方式及性能	基于數(shù)據(jù)庫鎖，有性能瓶頸	基于數(shù)據(jù)庫鎖，有性能瓶頸	不詳	無鎖化設(shè)計(jì)，性能強(qiáng)勁無上限
報(bào)警監(jiān)控	無	郵件	短信	郵件，提供接口允許開發(fā)者擴(kuò)展
系統(tǒng)依賴	JDBC支持的關(guān)系型數(shù)據(jù)庫（MySQL、Oracle...）	MySQL	人民幣（公測期間免費(fèi)，哎，幫打個(gè)廣告吧）	任意Spring Data Jpa支持的關(guān)系型數(shù)據(jù)庫（MySQL、Oracle...）
DAG工作流	不支持	不支持	支持	支持

 

PS：感謝文檔翻譯平臺(tái) breword 對本項(xiàng)目英文文檔翻譯做出的巨大貢獻(xiàn)！

參考

  
 
 

   
  
  
Alibaba SchedulerX 2.0 
  
 
 

• Akka 框架 ：不得不說，akka-remote簡化了相當(dāng)大一部分的網(wǎng)絡(luò)通訊代碼。
• 執(zhí)行器架構(gòu)設(shè)計(jì) ：這篇文章反而不太認(rèn)同，感覺我個(gè)人的設(shè)計(jì)更符合Yarn的“架構(gòu)”。
• MapReduce模型 ：想法很Cool，大數(shù)據(jù)處理框架都是處理器向數(shù)據(jù)移動(dòng)，但對于傳統(tǒng)Java應(yīng)用來說，數(shù)據(jù)向處理器移動(dòng)也未嘗不可，這樣還能使框架的實(shí)現(xiàn)變得簡單很多。
• 廣播執(zhí)行 ：運(yùn)行清理日志腳本什么的，也太實(shí)用了8～

 

 

網(wǎng)站名稱：不可錯(cuò)過的新一代分布式任務(wù)調(diào)度與計(jì)算框架
文章鏈接：http://www.dlmjj.cn/article/cojdose.html