上訊敏捷數(shù)據(jù)管理平臺(ADM)支持重復(fù)數(shù)據(jù)刪除技術(shù),在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據(jù)輸入側(cè)不同粒度(卷級、文件級、塊級)的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級、文件級重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法,通過對數(shù)據(jù)塊進(jìn)行哈希算法的標(biāo)記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個冗余數(shù)據(jù)。敏捷數(shù)據(jù)管理平臺為企業(yè)上、中、下游數(shù)據(jù)的高效使用提供了一套綜合數(shù)據(jù)安全治理解決方案。手機號碼變形
數(shù)字化時代,企業(yè)進(jìn)行數(shù)據(jù)保護(hù),不僅希望能夠?qū)崿F(xiàn)本地數(shù)據(jù)保護(hù),也要有災(zāi)備中心進(jìn)行異地數(shù)據(jù)保護(hù)。如此,即便本地數(shù)據(jù)中心遭遇地震、火災(zāi)等重大自然災(zāi)害或人為操作失誤等事故,導(dǎo)致本地備份數(shù)據(jù)或生產(chǎn)數(shù)據(jù)發(fā)生損壞或丟失時,能夠通過異地數(shù)據(jù)災(zāi)備,確保數(shù)據(jù)可恢復(fù)。ADM支持通過遠(yuǎn)程復(fù)制技術(shù),將本地數(shù)據(jù)同步到異地災(zāi)備中心,實現(xiàn)異地數(shù)據(jù)容災(zāi)?;趥浞萑蝿?wù),將生產(chǎn)數(shù)據(jù)備份到本地的存儲池,基于遠(yuǎn)程復(fù)制任務(wù),將本地存儲池中的備份數(shù)據(jù)同步到異地存儲池中,從而為生產(chǎn)數(shù)據(jù)提供雙重保護(hù),當(dāng)本地生產(chǎn)數(shù)據(jù)、或備份數(shù)據(jù)丟失、損壞時,通過預(yù)先設(shè)置的容災(zāi)策略,在容災(zāi)端進(jìn)行應(yīng)急接管。原始數(shù)據(jù)格式海量數(shù)據(jù)供數(shù)于眾多場景的數(shù)據(jù)使用需求是上訊ADM的應(yīng)用場景。
上訊敏捷數(shù)據(jù)管理平臺ADM功能支持自適應(yīng)源端的全局重刪算法與策略,支持任務(wù)級與全局指紋庫;針對文件備份提供文件粒度與塊級粒度的全域重刪且支持重刪指紋庫重建功能,支持多線程文件備份,支持海量小文件場景下的聚合策略,提供并行掃描和高速索引,從而減少需要備份的數(shù)據(jù)量、縮短備份窗口、節(jié)省備份數(shù)據(jù)傳輸所消耗的網(wǎng)絡(luò)帶寬以及節(jié)約備份數(shù)據(jù)存儲空間;備份傳輸過程采用壓縮加密處理,緩解網(wǎng)絡(luò)傳輸?shù)膲毫?,增加網(wǎng)絡(luò)抖動或短時間斷鏈的超時容錯機制,確保備份數(shù)據(jù)的安全。
ADM平臺具備根據(jù)管理人員、測試需求等內(nèi)容的不同進(jìn)行分組劃分的功能,將數(shù)據(jù)進(jìn)行分組管理,從下游測試數(shù)據(jù)管理的源頭管控數(shù)據(jù)資源的類別,做到從源頭劃分類別,使下游測試數(shù)據(jù)管理形成上游數(shù)據(jù)源----中游數(shù)據(jù)中轉(zhuǎn)----下游數(shù)據(jù)目標(biāo)的閉環(huán)式數(shù)據(jù)使用流程,規(guī)范化的數(shù)據(jù)流程使數(shù)據(jù)管理者成為數(shù)據(jù)的負(fù)責(zé)人,自動化的資源管理也更有效地為金融行業(yè)用戶提供安全的數(shù)據(jù)管理方案。同時,ADM提供對數(shù)據(jù)流轉(zhuǎn)的樹狀拓?fù)浣Y(jié)構(gòu)圖,可詳細(xì)了解數(shù)據(jù)的來源、所屬存儲池、掛載的測試服務(wù)器,以及數(shù)據(jù)快照的層級關(guān)系,方便對系統(tǒng)全局的數(shù)據(jù)使用結(jié)構(gòu)進(jìn)行預(yù)覽,通過可視化的結(jié)構(gòu)拓?fù)鋱D,幫助用戶了解下游測試網(wǎng)中測試數(shù)據(jù)的歸屬關(guān)系,完善數(shù)據(jù)流轉(zhuǎn)路徑,優(yōu)化數(shù)據(jù)資源的合理分配,可視化功能的動態(tài)展示將助力企業(yè)向著智能化數(shù)據(jù)安全治理的方向轉(zhuǎn)型。敏捷數(shù)據(jù)管理平臺支持全庫與子集敏感數(shù)據(jù)處理,支持異構(gòu)數(shù)據(jù)庫敏感數(shù)據(jù)替換,保證重要生產(chǎn)數(shù)據(jù)中間不落地。
上訊敏捷數(shù)據(jù)管理平臺產(chǎn)品為非生產(chǎn)環(huán)境中的數(shù)據(jù)使用提供了安全性保障。ADM內(nèi)置了雙重敏感數(shù)據(jù)處理模式,一是通過基于虛擬數(shù)據(jù)庫的方式,實現(xiàn)在閉環(huán)供數(shù)流程中完成敏感數(shù)據(jù)的替換;二是數(shù)據(jù)抽取方式,支持從多種數(shù)據(jù)源中靈活抽取并進(jìn)行變形處理。此外,ADM能夠自動發(fā)現(xiàn)敏感數(shù)據(jù),智能定義敏感數(shù)據(jù)類型,并定位敏感數(shù)據(jù)源位置。結(jié)合豐富的算法和仿真字典庫,ADM不僅確保變形后的數(shù)據(jù)保持業(yè)務(wù)屬性,還保持了數(shù)據(jù)表間關(guān)系的業(yè)務(wù)一致性。為了集中管理數(shù)據(jù)使用流程,ADM跟蹤數(shù)據(jù)流向,識別虛擬數(shù)據(jù)庫的使用狀態(tài),實時拍攝快照,保留數(shù)據(jù)版本,實現(xiàn)了測試數(shù)據(jù)版本的快速回退,從而有助于對數(shù)據(jù)版本進(jìn)行有效管理。多功能相結(jié)合確保非生產(chǎn)環(huán)境數(shù)據(jù)的安全使用,同時滿足企業(yè)對于數(shù)據(jù)安全性和合規(guī)性的需求。敏捷數(shù)據(jù)管理平臺是集數(shù)據(jù)備份管理、備份校驗管理、數(shù)據(jù)副本管理、敏感數(shù)據(jù)管理四位一體的數(shù)據(jù)管理產(chǎn)品。原始數(shù)據(jù)格式
敏捷數(shù)據(jù)管理平臺可實現(xiàn)備份數(shù)據(jù)任意時間點掛載恢復(fù)快速對恢復(fù)數(shù)據(jù)進(jìn)行驗證。手機號碼變形
數(shù)據(jù)孤島指的是數(shù)據(jù)被分散、隔離和存儲在不同的系統(tǒng)、應(yīng)用程序或部門中,使得數(shù)據(jù)之間無法有效地交流、共享或整合的情況。這些數(shù)據(jù)島嶼形成了一個個孤立的實體,難以互相連接或進(jìn)行有效的數(shù)據(jù)分析。上訊敏捷數(shù)據(jù)管理平臺(ADM)通過有效整合企業(yè)內(nèi)各業(yè)務(wù)系統(tǒng)的數(shù)據(jù),實現(xiàn)數(shù)據(jù)采集、存儲、交付和管理的無縫對接,同時利用多項自主研發(fā)技術(shù)如數(shù)據(jù)庫虛擬化、數(shù)據(jù)備份恢復(fù)、敏感數(shù)據(jù)脫敏等,打破了企業(yè)內(nèi)數(shù)據(jù)孤島現(xiàn)象,促進(jìn)了數(shù)據(jù)資源的共享和高效利用。手機號碼變形