如同前文所述，我在電商產業工作，近年來隨著公司的發展，開始將研發的重點強調在數據與 AI 的應用上，因此資料的蒐集儲存的彈性就需要不段的擴增，來滿足斷續分析與應用的需求。

近一年的工作有一半是在做資料的處理/整合，記錄一下工作上 data pipeline 的需求與演進，概念上就是如何從基本的 rds 進化成可以擴展到適合大數據分析的資料庫架構。