當前位置:名人名言大全網 - 短信平臺 - 分布式定時任務調度框架實踐

分布式定時任務調度框架實踐

分布式任務調度框架幾乎是每個大型應用必備的工具,本文介紹了任務調度框架使用的需求背景和痛點,對業界普遍使用的開源分布式任務調度框架的使用進行了探究實踐,並分析了這幾種框架的優劣勢和對自身業務的思考。

壹、業務背景

1.1 為什麽需要使用定時任務調度

(1)時間驅動處理場景: 整點發送優惠券,每天更新收益,每天刷新標簽數據和人群數據。

(2)批量處理數據: 按月批量統計報表數據,批量更新短信狀態,實時性要求不高。

(3)異步執行解耦: 活動狀態刷新,異步執行離線查詢,與內部邏輯解耦。

1.2 使用需求和痛點

(1)任務執行監控告警能力。

(2)任務可靈活動態配置,無需重啟。

(3)業務透明,低耦合,配置精簡,開發方便。

(4)易測試。

(5)高可用,無單點故障。

(6)任務不可重復執行,防止邏輯異常。

(7)大任務的分發並行處理能力。

二、開源框架實踐與 探索

2.1 Java 原生 Timer 和

ScheduledExecutorService

2.1.1 Timer使用

Timer缺陷:

由於上述缺陷,盡量不要使用Timer, idea中也會明確提示,使用ScheduledThreadPoolExecutor替代Timer 。

2.1.2 ScheduledExecutorService使用

ScheduledExecutorService對於Timer的缺陷進行了修補,首先ScheduledExecutorService內部實現是ScheduledThreadPool線程池,可以支持多個任務並發執行。

對於某壹個線程執行的任務出現異常,也會處理,不會影響其他線程任務的執行,另外ScheduledExecutorService是基於時間間隔的延遲,執行不會由於系統時間的改變發生變化。

當然,ScheduledExecutorService也有自己的局限性:只能根據任務的延遲來進行調度,無法滿足基於絕對時間和日歷調度的需求。

2.2 Spring Task

2.2.1 Spring Task 使用

spring task 是spring自主開發的輕量級定時任務框架,不需要依賴其他額外的包,配置較為簡單。

此處使用註解配置

2.2.2 Spring Task缺陷

Spring Task 本身不支持持久化,也沒有推出官方的分布式集群模式,只能靠開發者在業務應用中自己手動擴展實現,無法滿足可視化,易配置的需求。

2.3 永遠經典的 Quartz

2.3.1 基本介紹

Quartz框架是Java領域最著名的開源任務調度工具,也是目前事實上的定時任務標準,幾乎全部的開源定時任務框架都是基於Quartz核心調度構建而成。

2.3.2 原理解析

核心組件和架構

關鍵概念

(1) Scheduler :任務調度器,是執行任務調度的控制器。本質上是壹個計劃調度容器,註冊了全部Trigger和對應的JobDetail, 使用線程池作為任務運行的基礎組件,提高任務執行效率。

(2) Trigger :觸發器,用於定義任務調度的時間規則,告訴任務調度器什麽時候觸發任務,其中CronTrigger是基於cron表達式構建的功能強大的觸發器。

(3) Calendar :日歷特定時間點的集合。壹個trigger可以包含多個Calendar,可用於排除或包含某些時間點。

(4) JobDetail :是壹個可執行的工作,用來描述Job實現類及其它相關的靜態信息,如Job的名稱、監聽器等相關信息。

(5) Job :任務執行接口,只有壹個execute方法,用於執行真正的業務邏輯。

(6) JobStore :任務存儲方式,主要有RAMJobStore和JDBCJobStore,RAMJobStore是存儲在JVM的內存中,有丟失和數量受限的風險,JDBCJobStore是將任務信息持久化到數據庫中,支持集群。

2.3.3 實踐說明

(1)關於Quartz的基本使用

(2)業務使用要滿足動態修改和重啟不丟失, 壹般需要使用數據庫進行保存。

(3)組件化

(4)擴展

2.3.4 缺陷和不足

(1)需要把任務信息持久化到業務數據表,和業務有耦合。

(2)調度邏輯和執行邏輯並存於同壹個項目中,在機器性能固定的情況下,業務和調度之間不可避免地會相互影響。

(3)quartz集群模式下,是通過數據庫獨占鎖來唯壹獲取任務,任務執行並沒有實現完善的負載均衡機制。

2.4 輕量級神器 XXL-JOB

2.4.1 基本介紹

XXL-JOB是壹個輕量級分布式任務調度平臺,主打特點是平臺化,易部署,開發迅速、學習簡單、輕量級、易擴展,代碼仍在持續更新中。

主要提供了任務的動態配置管理、任務監控和統計報表以及調度日誌幾大功能模塊,支持多種運行模式和路由策略,可基於對應執行器機器集群數量進行簡單分片數據處理。

2.4.2 原理解析

2.1.0版本前核心調度模塊都是基於quartz框架,2.1.0版本開始自研調度組件,移除quartz依賴 ,使用時間輪調度。

2.4.3 實踐說明

詳細配置和介紹參考官方文檔。

2.4.3.1 demo使用:

@JobHandler(value="offlineTaskJobHandler") ,實現業務邏輯即可。(註:此次引入了dubbo,後文介紹)。

(滑動可查看)

示例2:分片廣播任務。

(滑動可查看)

2.4.3.2 整合dubbo

(1)引入dubbo-spring-boot-starter和業務facade jar包依賴。

(滑動可查看)

(2)配置文件加入dubbo消費端配置(可根據環境定義多個配置文件,通過profile切換)。

(滑動可查看)

(3)代碼中通過@Reference註入facade接口即可。

(滑動可查看)

(4)啟動程序加入@EnableDubboConfiguration註解。

(滑動可查看)

2.4.4 任務可視化配置

內置了平臺項目,方便了開發者對任務的管理和執行日誌的監控,並提供了壹些便於測試的功能。

2.4.5 擴展

(1)任務監控和報表的優化。

(2)任務報警方式的擴展,比如加入告警中心,提供內部消息,短信告警。

(3)對實際業務內部執行出現異常情況下的不同監控告警和重試策略。

2.5 高可用 Elastic-Job

2.5.1 基本介紹

Elastic-Job是壹個分布式調度解決方案,由兩個相互獨立的子項目Elastic-Job-Lite和Elastic-Job-Cloud組成。

Elastic-Job-Lite定位為輕量級無中心化解決方案,使用jar包的形式提供分布式任務的協調服務。

Elastic-Job-Cloud使用Mesos + Docker的解決方案,額外提供資源治理、應用分發以及進程隔離等服務。

可惜的是已經兩年沒有叠代更新記錄。

2.5.2 原理解析

2.5.3 實踐說明

2.5.3.1 demo使用

(1)安裝zookeeper,配置註冊中心config,配置文件加入註冊中心zk的配置。

(滑動可查看)

(滑動可查看)

(2)配置數據源config,並配置文件中加入數據源配置。

(滑動可查看)

(滑動可查看)

(3)配置事件config。

(滑動可查看)

(4)為了便於靈活配置不同的任務觸發事件,加入ElasticSimpleJob註解。

(滑動可查看)

(5)對配置進行初始化。

(滑動可查看)

(6)實現 SimpleJob接口,按上文中方法整合dubbo, 完成業務邏輯。

(滑動可查看)

2.6 其余開源框架

(1) Saturn :Saturn是唯品會開源的壹個分布式任務調度平臺,在Elastic Job的基礎上進行了改造。

(2) SIA-TASK :是宜信開源的分布式任務調度平臺。

三、優劣勢對比和業務場景適配思考

業務思考:

四、結語

對於並發場景不是特別高的系統來說,xxl-job配置部署簡單易用,不需要引入多余的組件,同時提供了可視化的控制臺,使用起來非常友好,是壹個比較好的選擇。希望直接利用開源分布式框架能力的系統,建議根據自身的情況來進行合適的選型。

附:參考文獻

高可用架構

改變互聯網的構建方式