欢迎阅读软件在线文章《云计算时代10年后到来 哪些工作会被淘汰？》>>

本文作者George Crump是Storage Switzerland的创始人同时也是George Crump Consulting的创始人,具有二十多年经验的独具存储咨询顾问。 

随着EMC收购Data Domain的交易顺利进行下去，新的问题正在出现：我们是否可以实现单点的重复数据删除？也就是说，我们是否可以用单一的引擎来对所有数据层--主存储、归档和备份--进行重复数据删除？

这种争论是有意义的，尤其是在重复数据删除领域。毕竟，你在重复数据删除过程中放入的数据越多，从理论上来说，你的重复数据删除率就越高。你要需要处理的接口和流程越少，那么你对流程管理就越容易。问题是，在很大程度上，我们看到的是许多重复数据删除孤岛。

在主存储重复数据删除领域，有NetApp或EMC的NAS（网络附加存储）网关来处理。主存储上最佳的重复数据删除使用情境是虚拟化的服务器镜像，其次是用户主目录。

在归档重复数据删除领域，有Permabit和Nexsan等公司，某种程度上还有NetApp的NearStore。还有像Ocarina Networks这样的横跨主存储和归档的公司，这些公司的产品可在主存储中进行重复数据删除，并将数据迁移到二级存储。一年前，Data Domain宣布其设备也可以作为二级存储点。

备份重复数据删除领域则是被Data Domain所主导，不过Quantum、Sepaton和Exagrid等公司在这个领域也都有各自的解决方案。

当前重复数据删除厂商可以将其解决方案构建成向上扩展至主存储性能（见Data Domain的DD880）或将现有的重复数据删除技术延伸至其他市场（见Ocarina Networks和Permabit不断增加的速度以及他们在云存储上的举动）。

我们同时还有CommVault、Atempo、Acronis和EMC的Avamar等重复数据删除产品，以及内置有重复数据删除功能的备份软件。随着重复数据删除能力扩展至其他模块，比如归档，它们开始声称拥有单点重复数据删除的能力。当然，难点是让所有要被重复数据删除的数据都通过该引擎。很明显，备份软件解决方案可以和归档整合在一起，不过我不知道它们如何能迁移入主存储优化或者说它们是否愿意这么做。

随着EMC收购Data Domain，比起其他厂商，EMC在重复数据删除解决方案上的产品更加分散。如果EMC完全利用Data Domain的技术，并将其整合入所有重复数据删除产品，那么EMC就可以实现单点的重复数据删除。甚至Avamar也可以起到一定作用。EMC可以利用Avamar技术来解决Data Domain本身的问题；在数据在网络传输之前便对其进行优化。

NetApp和Ocarina可以继续增强和改善它们技术的数据重组速度，以便让读取性能不再成为瓶颈，让主存储成为可用的平台。Ocarina可以在数据层之间迁移的时候维持其重复数据删除格式，以便让进入备份或归档磁盘的重复数据删除数据可以方便地再迁移出去。

实现单点重复数据删除的方法确实有，而且有几家厂商正在这么做，还有几家厂商有能力这么做。后面的问题便是你是否需要单点的重复数据删除，以及这些系统是否可以同时扩展容量和元数据管理能力以便满足日益增加的需求。