建構規模化且可監控的 crontab

公司的專案發展了將近十年,累積了超多排程,全部專案加起來可能超過五百個,當發生觸發異常停止運作的後續處置代價都極大,也會發生工作執行異常後續不容易追蹤的問題,所以每一段時間就會思考有什麼更理想的解決方案

然後都蠻難找到一個終極的解法跟架構,困擾了也算是蠻長的一段時間,近期又有一次改版,想說來記錄一下這個過程跟心得

Continue reading…

Data Pipeline 從零開始建置

如同前文所述,我在電商產業工作,近年來隨著公司的發展,開始將研發的重點強調在數據與 AI 的應用上,因此資料的蒐集儲存的彈性就需要不段的擴增,來滿足斷續分析與應用的需求。

近一年的工作有一半是在做資料的處理/整合,記錄一下工作上 data pipeline 的需求與演進,概念上就是如何從基本的 rds 進化成可以擴展到適合大數據分析的資料庫架構。

Continue reading…