先知數據清洗與整合平台
數據清洗與整合平台實現共享數據中心的數據采集與分發(fā),提供對(duì)被(bèi)交換信息進(jìn)行清洗、轉換、裝載入庫等數據交換服務,即清理髒數據,完成(chéng)對(duì)數據的整理,确保數據一緻性、完整性和正确性。
各業務系統通過(guò)清洗與整合系統與共享數據中心平台進(jìn)行數據交換與共享,各業務系統獨立運行,互不影響,某一業務系統故障不會(huì)造成(chéng)對(duì)其它系統的影響。
共享數據中心庫的數據來源目前來說主要是由國(guó)标即基礎代碼表的數據和從已有的應用系統中集成(chéng)過(guò)來,這(zhè)個過(guò)程就(jiù)是數據DCI過(guò)程。已有的應用系統的數據是不符合數據規範的,DCI過(guò)程就(jiù)是實現從不規範的數據源内通過(guò)整合轉化成(chéng)規範的數據保證數據的準确。DCI是數據集成(chéng)并保證“一數一源”重要手段。通過(guò)DCI,可以方便、快捷地實現數據源到中心數據庫的DCI過(guò)程。
1. 支持主流的各種(zhǒng)數據庫,包括Oracle系列、SQL Server系列、DB2、MySQL等,同時支持Excel文件數據訪問;
2. 方便的圖形化流程操作,幾乎不需要編寫複雜的SQL。通過(guò)拖動和連線的方式就(jiù)可以定義DCI任務,不需要複雜的編程和配置;
3. 強大的任務定義能(néng)力。我們可以爲每一個DCI任務定義不同的任務類型,更爲重要的是,我們可以自由地設定任務的運行時間和周期;
4. 準确的數據變化感知。無論源數據發(fā)生了什麼(me)變化,包括插入新數據、更新舊數據、删除數據等,都(dōu)可以被(bèi)- DCI所感知并在目标庫中做出相應的變化,實現準确的數據同步;
5. 靈活的數據映射。對(duì)于簡單的值映射,可以直接通過(guò)簡單設置即可,如想將(jiāng)性别字段值0和1映射成(chéng)目标值A和B,可進(jìn)行簡便操作;
6. 對(duì)于複雜的數據編程,- DCI提供了JavaScript語言,可以實現更爲強大的編程邏輯和功能(néng);
強大的數據庫管理能(néng)力。- DCI提供了對(duì)數據庫更爲複雜的操作,包括去除重複的記錄、自動流水号生成(chéng)、記錄的連接、記錄的過(guò)濾等,這(zhè)些所有的操作均可通過(guò)簡單的配置實現,而不需要編寫複雜的SQL語句。