聊聊分布式定時任務(wù)elastic-job作業(yè)分片策略

作者：聚IT 2019-11-12 09:32:39

開發(fā)

前端

分布式 在實際開發(fā)種常會遇到需要定時跑批，定時每天執(zhí)行一次對賬操作等場景。分布式定時任務(wù)不僅解決了以上難題，還提供了分片處理提高處理效率、分布式調(diào)度協(xié)調(diào)、彈性擴容縮容、失效轉(zhuǎn)移等優(yōu)點。

在實際開發(fā)種常會遇到需要定時跑批，定時每天執(zhí)行一次對賬操作等場景。通常采用定時任務(wù)如spring定時框架、ScheduledExecutorService等。但這些都只適于單機，當(dāng)在多節(jié)的情況下會出現(xiàn)定時任務(wù)重復(fù)執(zhí)行問題，這時候需要采用分布式定時任務(wù)來解決。分布式定時任務(wù)不僅解決了以上難題，還提供了分片處理提高處理效率、分布式調(diào)度協(xié)調(diào)、彈性擴容縮容、失效轉(zhuǎn)移等優(yōu)點。

一、常見分布式定時任務(wù)有哪些?

當(dāng)前有很多開源的分布式定時任務(wù)，以下列出幾種常用的如：

• elastic-job：當(dāng)當(dāng)開發(fā)的彈性分布式任務(wù)調(diào)度系統(tǒng)，功能豐富強大，采用zookeeper實現(xiàn)分布式協(xié)調(diào)，實現(xiàn)任務(wù)高可用以及分片，并且可以支持云開發(fā)。
• xxl-job: 是大眾點評員工徐雪里于2015年發(fā)布的分布式任務(wù)調(diào)度平臺，是一個輕量級分布式任務(wù)調(diào)度框架，其核心設(shè)計目標(biāo)是開發(fā)迅速、學(xué)習(xí)簡單、輕量級、易擴展。
• Saturn：是唯品會自主研發(fā)的分布式的定時任務(wù)的調(diào)度平臺，基于當(dāng)當(dāng)?shù)膃lastic-job 版本1開發(fā)，并且可以很好的部署到docker容器上。

其中應(yīng)用得較多的為elastic-job(E-job)與xxl-job (X-job)，關(guān)于兩者的技術(shù)選型這里不做更多具體的討論，下面提供兩者的綜合對比用于參考，可結(jié)合實際業(yè)務(wù)技術(shù)場景進行選型

二、elastic-job作業(yè)分片策略有哪些?

結(jié)合實際場景，選擇合適的作業(yè)分片策略，進行分片處理可以提高任務(wù)的執(zhí)行效率。以下是elastic-job提供的分片策略

• AverageAllocationJobShardingStrategy分片策略
• OdevitySortByNameJobShardingStrategy分片策略
• RotateServerByNameJobShardingStrategy分片策略
• 自定義分片策略

1. AverageAllocationJobShardingStrategy分片策略

com.dangdang.ddframe.job.lite.api.strategy.impl.AverageAllocationJobShardingStrategy

策略說明：

基于平均分配算法的分片策略，也是默認的分片策略，作業(yè)數(shù)能被服務(wù)器數(shù)整除情況下均勻分配、

如果分片不能整除，則不能整除的多余分片將依次追加到序號小(ip地址靠前)的服務(wù)器。

缺點：平均分片策略，當(dāng)分片數(shù)小于作業(yè)服務(wù)器數(shù)時，作業(yè)會被永遠分配在ip地址靠前的服務(wù)器，而導(dǎo)致IP地址靠后的服務(wù)器空閑。

2. OdevitySortByNameJobShardingStrategy分片策略

com.dangdang.ddframe.job.lite.api.strategy.impl.OdevitySortByNameJobShardingStrategy

策略說明：

該策略核心思想為根據(jù)作業(yè)名的哈希值奇偶數(shù)決定采用IP升/降序算法實現(xiàn)分片，作業(yè)名的哈希值為奇數(shù)則IP升序，作業(yè)名的哈希值為偶數(shù)則IP降序，通過這種方式用于將不同的作業(yè)分片負載均衡至不同的服務(wù)器。

如作業(yè)名哈希值為偶數(shù)，則采用IP降序算法實現(xiàn)分片，這樣就避免了采用平均分配算法時IP地址靠后的服務(wù)器空閑的問題。

其內(nèi)部采用了平均算法。

3. RotateServerByNameJobShardingStrategy分片策略

com.dangdang.ddframe.job.lite.api.strategy.impl.RotateServerByNameJobShardingStrategy

策略說明：

根據(jù)作業(yè)名的哈希值對服務(wù)器列表進行輪轉(zhuǎn)的分片策略，其內(nèi)部也是采用平均分片算。，

4. 自定義分片策略

可通過實現(xiàn)JobShardingStrategy接口并實現(xiàn)sharding方法，可根據(jù)需求定制化自己的分片策略，以下是Spring中切換自定義分配策略的配置方式。

三、總結(jié)

elastic-job 提供的三種分片策略，其總體上都還是使用的還是平均分片算法，不過是將實例進行了不同的排序操作。支持自定義分片策略可更加自身需求定制分片策略。在實際項目應(yīng)用中多為采用平均分片策略。

分享標(biāo)題：聊聊分布式定時任務(wù)elastic-job作業(yè)分片策略
文章鏈接：http://www.dlmjj.cn/article/cdgcdei.html