Data Pipeline 從零開始建置

如同前文所述,我在電商產業工作,近年來隨著公司的發展,開始將研發的重點強調在數據與 AI 的應用上,因此資料的蒐集儲存的彈性就需要不段的擴增,來滿足斷續分析與應用的需求。

近一年的工作有一半是在做資料的處理/整合,記錄一下工作上 data pipeline 的需求與演進,概念上就是如何從基本的 rds 進化成可以擴展到適合大數據分析的資料庫架構。

Continue reading…