更貼近企業需求的「資料倉儲局部更新」,大幅提升資料建置與更新效率!
Michel, Anny 2020-10-29資料倉儲(Data Warehouse,以下簡稱:DW)的資料處理速度極快,是許多大量資料客戶的第一選擇,因為是將整合後的資料暫存於記憶體中,所以不需再回後端撈資料庫,以企業實務來說,每年或每月的資料動輒都是好幾GB的資料量,尤其是連鎖零售商更甚。
而這些大量資料當中,某部份是需依據時間週期性而變動的,舉個例子,在Smart eVision平台上,已建置好一訂單資料的DW,當增加新訂單或更新部份資料時,若每次都需重新建置所有資料,這樣資料變更的建置過程必然會花費Server龐大的資源與時間。
因此,聯銓研發團隊讓DW加入「局部更新」的概念,在短時間內即可完成指定變動資料更新,不需額外花費時間建置所有歷史資料,還可搭配排程功能,定時自動更新DW資料,省時又省力!
接下來將會依序介紹以下局部更新的好處!
- 依資料性質彈性更新DW
- 不需複雜設定即可達成
- 大幅提升DW建置效率
- 演算下次局部更新時機
依資料性質彈性更新DW
提供以下兩種DW局部更新方式:
僅附加新資料
當建置DW的資料是
附加新資料且重建指定日期之後的資料
當建置DW的資料有
|
---|
不論選擇何種局部建置方式,首次建置DW皆是將所有資料完整建置。 |
不需複雜設定即可達成
傳統ETL工具或ERP系統也有類似逐步更新資料的功能,但在設定上都相對複雜,可能還需搭配SQL語法設計執行。 為了減少IT人員維護工作,在DW設計只需啟用局部建置功能並設定更新資料的日期維度即可。
大幅提升DW建置效率
在企業每年或每月的資料動輒都是好幾GB的資料量,尤其是連鎖零售商更甚。若為了更新部份資料,每次都需重新建置所有資料想必會花費系統大量資源與時間,而局部建置只針對更新的資料做重建更新,資料量相對滅少進而增加建置DW效率。
演算下次局部更新時機
在不同類型的資料更新的頻率與時機都不盡相同,透過變動週期設定在每次執行局部建置後,即可演算出下一次更新資料的時間點, 如此一來,在下一次執行局部建置時就可以依演算的時機決定哪些時間範圍的資料需要重新建罝。
結語
因應大數據時代的來臨,聯銓DW建置導入「局部更新」概念,除了不需複雜設定,也可依不同的資料類型選擇更新方式,還能增加DW建置效率及演算下次局部更新時機。此外,搭配排程功能自動在指定時間執行DW資料更新,排定在離峰時間執行也不會影響日常系統執行效能,資料更新達到事半功倍!
更多Smart平台資訊
還沒有接收到聯銓最新消息?點選「註冊」加入會員,最新消息第一時間寄信通知您!