ADM敏捷數據管理解決方案-

需求場景
需求分析
解決方案
方案優勢

需求場景

金融業作(do)爲(for)資金密集型行業，數據具有高敏感性和(and)高價值性的(of)特征，因此對數據的(of)安全使用(use)有着極高的(of)要(want)求，如何安全地(land)使用(use)數據、最大(big)程度地(land)發揮其價值，是(yes)金融業一(one)直以(by)來(Come)研究的(of)課題，開發測試業務作(do)爲(for)數據使用(use)頻繁的(of)典型應用(use)場景，受到(arrive)金融用(use)戶重點的(of)關注，如何滿足開發測試環境對數據的(of)申請要(want)求、如何提升數據交付的(of)效率、如何管理數據使用(use)的(of)版本等，是(yes)開發測試部門常見的(of)工作(do)需求，金融用(use)戶通過滿足開發測試人(people)員日常面臨的(of)數據使用(use)與管理需求，達到(arrive)顯著縮短業務上(superior)線周期的(of)目标。

需求分析

要(want)求縮短測試數據的(of)交付時(hour)間項目的(of)開發及測試是(yes)有時(hour)間周期的(of)，由于(At)數據量較大(big)、數據申請較爲(for)頻繁，一(one)般一(one)份數據的(of)準備時(hour)間在(exist)一(one)周左右，等待數據的(of)時(hour)間較久，此問題不(No)解決，将會成爲(for)開發測試提升效率的(of)瓶頸。所以(by)，如何提升數據副本的(of)交付效率，是(yes)開發測試場景中首先要(want)考慮的(of)需求。
要(want)求滿足不(No)同的(of)數據申請需求對于(At)開發測試業務而言，數據的(of)需求是(yes)多樣的(of)，有的(of)要(want)求某個(indivual)時(hour)間點的(of)數據，有的(of)要(want)求當天或前一(one)天的(of)數據；針對新上(superior)線的(of)業務系統，還會有造數需求。針對不(No)同數據申請需求，要(want)求全部滿足，需要(want)考慮多種數據獲取方式。
要(want)求敏感數據使用(use)前進行脫敏在(exist)使用(use)數據的(of)時(hour)候，既要(want)考慮到(arrive)敏感數據的(of)安全性問題，又要(want)考慮到(arrive)工作(do)效率問題，因此，在(exist)對數據交付使用(use)前，需要(want)對敏感數據做相應的(of)處理工作(do)。要(want)做到(arrive)最大(big)程度發現敏感信息，确保敏感數據不(No)遺漏，還需要(want)做到(arrive)對敏感數據的(of)仿真脫敏，以(by)使得敏感數據脫敏後滿足校驗要(want)求。
要(want)求數據使用(use)流程閉環開發測試使用(use)的(of)數據，多爲(for)從生(born)産系統中獲取的(of)數據，基于(At)安全和(and)效率考慮，需要(want)将數據獲取、數據存儲、數據交付、數據管理、數據回收實現全流程的(of)閉環管理。
要(want)求對副本數據進行高可用(use)保護交付到(arrive)開發測試環境的(of)數據，雖說是(yes)經過處理的(of)副本數據，但對于(At)開發測試人(people)員來(Come)講，該數據爲(for)測試基準數據，需要(want)考慮到(arrive)副本數據的(of)保護問題，一(one)旦發生(born)故障，能夠快速恢複副本數據，不(No)影響副本數據的(of)正常使用(use)。

解決方案

考慮到(arrive)數據的(of)多種獲取方式及數據的(of)閉環管理，在(exist)生(born)産域、備份域和(and)測試域分别部署一(one)台敏捷數據管理平台ADM Server：生(born)産域的(of)ADM Server用(use)于(At)直接備份生(born)産數據，以(by)獲取實時(hour)性的(of)副本數據；備份域的(of)ADM Server用(use)于(At)從NBU/CommVault備份系統中獲取備份數據，以(by)獲取任意時(hour)間點的(of)副本數據；測試域的(of)ADM Server用(use)于(At)接收生(born)産域或備份域處理後的(of)副本數據，用(use)于(At)測試環境的(of)數據交付域。
生(born)産域、備份域均屬于(At)生(born)産網絡，而測試域屬于(At)測試網絡，兩個(indivual)網絡是(yes)獨立的(of)，考慮到(arrive)安全性與數據的(of)傳輸效率，需要(want)将生(born)産網絡與測試網絡單向打通。
生(born)産域的(of)ADM Server可用(use)于(At)實時(hour)備份有頻繁交付數據需求的(of)業務系統，可實現備份集備份、原格式備份兩種備份方式。
備份域的(of)ADM Server可用(use)于(At)從NBU/CommVault備份系統中獲取任意時(hour)間點的(of)備份數據，并且在(exist)獲取數據的(of)同時(hour)，也可以(by)幫助用(use)戶解決備份數據恢複校驗的(of)問題。
測試域的(of)ADM Server可用(use)于(At)滿足研發/測試環境的(of)數據交付、副本數據版本管理、副本數據版本切換、副本數據回收等需求。

方案優勢

1.測試數據快速交付

敏捷數據管理平台ADM采用(use)創新型技術——數據庫虛拟化技術幾分鍾内創建完成虛拟數據庫，快速将已經脫敏過的(of)數據作(do)爲(for)黃金副本傳輸到(arrive)開發測試網，有效減少開發測試場景中測試數據的(of)準備時(hour)間，提高了(Got it)開發測試環境搭建的(of)效率；
多份虛拟數據庫讀寫操作(do)獨立，完全滿足測試環境多場景同步測試的(of)需求。

2.測試數據存儲節約

ADM内置獨有的(of)高效壓縮存儲池，壓縮比達3:1，顯著降低了(Got it)基礎數據源獲取的(of)存儲成本，一(one)份基礎數據源，可挂載多份虛拟數據庫，節約了(Got it)存儲成本10倍以(by)上(superior)，快照共享降低了(Got it)持續增長的(of)副本數據存儲成本。

3.測試數據動态快照版本管理

ADM快照功能，可以(by)靈活對虛拟數據庫的(of)狀态進行管理和(and)維護，便于(At)開發測試的(of)數據版本叠代。動态快照的(of)使用(use)保證了(Got it)虛拟數據庫持續對外提供服務，不(No)影響測試業務的(of)連續性。

4.測試數據集中統一(one)管理

測試數據具有數據副本多、數據版本多的(of)特性，人(people)爲(for)管理容易形成較多的(of)僵屍數據，造成存儲資源的(of)浪費，通過ADM管理測試數據，可以(by)形成閉環流程，集中統一(one)管理測試數據的(of)交付與版本管理，提升數據管理效率的(of)同時(hour)，杜絕了(Got it)僵屍數據的(of)産生(born)。

5.測試數據系統可視化管理

測試環境的(of)數據，版本繁多，傳統人(people)爲(for)創建副本保存的(of)測試數據，很難形成有效的(of)數據血統管理，通過ADM的(of)部署，利用(use)可視化的(of)結構拓撲圖，可以(by)清晰展現數據版本間的(of)血統關系，對數據的(of)使用(use)一(one)目了(Got it)然。

6.數據脫敏保證金融數據安全

ADM平台具備數據脫敏管理模塊，可實現自動掃描識别敏感數據，精準定位敏感數據源，提供豐富的(of)仿真脫敏算法，保證脫敏後的(of)數據關系一(one)緻，異構和(and)并發脫敏提升了(Got it)數據脫敏的(of)效率，降低了(Got it)數據洩露的(of)風險。 ADM的(of)數據副本管理與數據脫敏管理可以(by)實現良好的(of)聯動，不(No)僅能夠快速準備脫敏數據源，還能實現脫敏數據的(of)快速分發。