敏捷数据管理平台ADM的关键技术如下:l***数据获取方式数据获取的目的是将不同的数据源实时或者按需同步到平台内,根据不同类型的数据源,数据获取方式分为三种,保证覆盖全部数据源获取方式:①支持实时同步应用数据库;②支持按需同步关系型数据库;③支持与备份系统对接恢复数据。l核心专利技术—数据库虚拟化技术ADM内置一套数据库虚拟化管理程序,虚拟数据库是通过一份基础数据源创建的数据副本,一份基础数据源可以生成多个虚拟数据库,虚拟数据库可读可写,虚拟数据库状态可实时保存。虚拟数据库创建时间为分钟级,且不占用额外的存储空间。上讯敏捷数据管理平台ADM产品可对数据进行清洗漂白处理,保证隐私数据信息安全。完整性原则
企业开发需求更新频繁,对测试环境和测试数据提出了同步变更的要求,ADM的虚拟数据库快照功能解决了测试数据版本迭代的问题,通过对数据库状态进行定时或即时的记录,保留当前虚拟数据库的状态作为测试数据版本,一旦需要调用某个版本时,只需切换到不同时间点的虚拟库快照即可,灵活实现测试数据版本的任意切换,ADM还支持创建和维护虚拟库级联快照,满足回归测试等具体应用场景,通过这一功能明显提升了开发测试效率、升级迭代效率。归档日志保留周期ADM的敏感数据处理灵活性体现在异构引擎可以将大数据平台数据抽取至多类型数据库,满足输出格式多样化。
在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的***标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,比较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。
通过部署敏捷数据管理平台ADM产品的数据副本管理模块,实现了测试数据版本迭代管理,提升了数据使用过程中的应用效率。随着移动互联网技术的不断革新,移动应用业务不断扩张,企业面临着前台业务频繁更新升级的现状,为保证既有业务稳定,需要对新提出的升级需求开展仿真测试与回归测试,因此亟需一套能够对测试环境的测试数据进行版本灵活切换的解决方案,便于测试数据版本的即时调用,迅速适应不同业务程序提供不同版本的测试数据。ADM的虚拟数据库快照功能解决了这一问题,通过对数据库状态进行定时或即时的记录,管理和维护当前虚拟数据库的数据,使用人员可以随时通过记录的虚拟数据库快照提供一个版本的测试数据,经过测试后保存当前的数据库使用状态,便于开发测试的数据版本迭代,通过这一功能明显提升了程序升级测试、版本迭代的效率.上讯ADM产品的成本控制体现在节约存储资源降低存储成本,自动化流程节约了人力成本。
上讯敏捷数据管理平台适用场景:数据交付速度慢的开发测试部门企业通过交付生产数据辅助第三方业务决策,如开发/测试环境、统计分析、准业务系统环境搭建等,交付生产数据的方式是通过生成业务系统数据副本,而副本的准备通常需要几小时,甚至几天不等,严重拖延了项目进度。
备份数据的有效性验证效率低的运维部门,大部分企业对其**业务系统进行了数据备份,为了检验备份数据的有效性,以及满足相关法律法规的要求,企业对备份数据采取周期性的恢复验证;由于企业的业务系统繁多,而人员相对紧缺,验证工作需要大量重复性动作,成为企业当前面临的一大挑战。
数据副本分散存放难以管理的数据中心数据副本一旦被交付使用,就**存在于使用环境中,随着数据使用场景的日益增多,数据副本在非生产环境中逐渐累积,**分散的存放方式导致副本的辨识度不高,后续使用与销毁难度明显增大。同时,重复存放现象严重造成了存储资源的浪费。u隐私数据泄露风险高的用户无论是通过生产数据库导出,还是通过备份系统恢复,都能够直接获取到企业的**生产数据,其中包含企业内部机密数据和客户个人隐私信息,一旦发生泄露将带来严重后果,不仅影响企业的名誉,也会造成一定的经济损失。 国内较早发布CDM领域的平台型产品是上讯敏捷数据管理平台ADM产品。完整性原则
上讯敏捷数据管理平台ADM产品能对接NBU自动恢复。完整性原则
备份校验管理是ADM功能模块之一,主要用于对接第三方备份系统进行备份数据的自动化恢复校验,保证备份数据的可恢复性、完整性。通过对接备份系统(如NetBackup、Commvault、NetWorker等)集中管理存储资源、恢复服务器资源和恢复任务,实现存储空间、恢复服务器和恢复任务的自动调度,从而完成备份数据有效性验证的全自动化。备份校验管理可以满足用户对当前备份数据的可恢复性验证、恢复后的完整性验证两方面的需求,能够覆盖用户全部业务系统的备份数据恢复验证需求,自动化实现跨操作系统平台Unix到Linux的数据恢复,实现验证工作的高覆盖率,提高备份数据有效性验证的频率。完整性原则
文章来源地址: http://smdn.chanpin818.com/ruanjian/gjrj/deta_24425706.html
免责声明: 本页面所展现的信息及其他相关推荐信息,均来源于其对应的用户,本网对此不承担任何保证责任。如涉及作品内容、 版权和其他问题,请及时与本网联系,我们将核实后进行删除,本网站对此声明具有最终解释权。