盤點 (資料)

盤點區擔任的主要功能之一, 就是整合多個來源系統的資料。執行此一功能時, 盤點區就如同是一個大型的『桶』可暫時放置從多個來源系統的資料, 便於未來的處理。常見的是在盤點區標記資料, 利用額外詮釋資料指示原版的來源, 和時間戳記指示資料何時被放置到盤點區。

一致化資料包含跨多個來源系統的參考資料標準化, 以及檢核來自不同來源的紀錄和資料成分間的關聯。[2] 在盤點區資料的一致化, 是功能上的密切相關也是支持『主資料管理』(Master Data Management)的能力。[5]

盤點區和所支援的 ETL 處理, 其設計目標通常要能在來源系統做資源上競爭的最小化。一次性從來源拷貝需要的資料到盤點區, 常會較逐筆檢索個別紀錄(或小群組)要有效率。之前在技術上優勢的做法, 是諸如資料串流技術, 透過減少需要中斷來降低負擔和重新連接到來源系統, 並優化在多人使用來源系統的併發鎖定管理。然而以複製來源的資料, 接著在盤點區等待執行的集中處理與轉換的 ETL 方式, 可獲得比併發相關處理更好的控制。

盤點區能在特定時間內安排好資料供給, 該資料是逕給多個目標。某些狀況下, 資料可在不同時間拉入盤點區存放, 以便一次進行全部處理。舉例來說, 此類狀況有可能發生企業處理進行在跨時區的每個夜晚。其他情況也可能有資料被帶入盤點區以便在特定時間處理; 或在盤點區推送資料到多個目標系統。例如, 每日營運資料會被推送到作業數據存儲(Operational Data Store, ODS), 而相同資料也被送到以每月聚集形式的資料倉儲。

盤點區支持根據目標系統的有效變更偵測。此功能在來源系統不支持可靠形式的變更偵測, 像是系統強制時間戳記, 變更追蹤, 或者變更資料捕捉(Change Data Capture, CDC)時, 特別有用。

資料清理包含從來源系統中辨識和移除(或更新)無效的資料。利用盤點區, ETL 處理可用來實現企業邏輯去辨別與處理 "無效的" 資料。無效資料的定義通常是業務規則與技術限制的組合。技術性約束可能外加於盤點區的結構 (諸如一般資料庫中表格約束), 以強制資料的有效性規則。[2]

複雜業務邏輯的匯集,複雜計算與應用的重算可在盤點區進行, 以支援高回應服務級別協議(Service Level Agreements, SLAs), 用於目標系統的匯總報表。[3]

資料歸檔能在盤點區進行或支援。這種情境下, 在載入過程中, 盤點區可用來維護歷史紀錄, 或推送資料到目標下的歸檔結構。此外, 資料也能維護在盤點區保存更長的時間, 以利支援 ETL 處理的技術問題排除 ....[3]