【TechTarget中国原创】重复数据删除可以通过两种方式实现：既可以通过把软件产品安装在专用的服务器上实现，也可以将其集成到备份/存档软件中。基于软件的重复数据删除的部署成本要明显低于专用硬件，例如Data Domain公司的DDX系列产品，而不需要对物理网络进行重大的改变。

　　但是，基于软件的重复数据删除在安装中更容易中断运行，维护也更加困难。每一台主机系统（或客户机）必须备份，通常需要安装轻型的代理，允许客户机与运行同样软件的备份服务器进行通信。当软件出现新的版本，或当随着时间增长主机操作环境发生改变时，这种客户机/服务器软件就需要进行升级。如果你用一个全新的产品来替换原有的备份引擎，那么这种中断可能会更严重，因为备份管理员必须重新重头开始创建备份工作的配置、进度表和警报。在源的重复删除处理强度也很大。所以，主备份服务器必须对此任务进行相应的配置。

　　基于软件的重复数据删除产品

　　EMC公司的Avamar软件产品在主机服务器进行in-band（带内）方式、使用SHA-1算法的重复删除技术。Avamar采用中央管理模式来检查整个网络中的数据，但实际上，在数据送到备份存储平台之前，在每个服务器上都进行了重复删除处理。它既可以节省备份目标所需的存储空间，也可以减轻网络阻塞。EMC宣称，在不久的将来，他们计划将Avamar的技术合并到他们自己的备份软件和虚拟磁带库（VTL）系统中。

　　Symantec（赛门铁克）公司通过其Veritas NetBackup产品中特有的被称为PureDisk技术来提供基于软件的重复删除，其中PureDisk使用特专有的散列算法在每一个主服务器上进行inline（联线）方式的重复删除。NetBackup PureDisk 6.2支持磁带目标和Backup Reporter 监控工具。 NetBackup 6.5甚至为重复删除、虚拟磁带库和第三方工具，都提供了更好的集成和支持。

　　Sepaton公司的重复数据删除通过被称为DeltaStor的软件来实现，它是其产品S2100-ES2 VTL硬件产品的可选组件。和PureDisk一样，DeltaStor使用其专有的散列算法，但是S2100在虚拟磁带库（存储目标）上删除重复数据。这意味着，备份流量在进行重复删除之前，就送到虚拟磁带库，所以并没有减少网络流量。Sepaton的重复删除模式也有所不同。一般的重复删除保存最原始的数据，以后的重复数据都用指针代替，而DeltaStor只写入最新版本的数据，并用指针代替先前的重复数据，这种方法称之为向前引用（forward referencing），说是可以更快地恢复数据。

　　压缩、加密和重复数据删除

　　重复数据删除最棘手的问题是压缩、加密和重复删除的关系。传统的压缩对文件中的冗余信息进行删除，重复删除则可以对冗余的文件、块或者位进行处理，加密就是把数据变成随机的数据流。所以，如果你先对数据进行加密，就很可能无法对其进行压缩和重复删除的处理了。理想情况下，数据一般先进行压缩和重复删除，然后根据需要进行加密。做到这一点并不困难，在运行备份软件的主服务器上完成压缩和重复删除，产生的数据流在发送到使用专用产品的备份目标、磁带库或者LTO-4驱动器的过程中进行加密。但是，当在目标存储系统中进行重复删除时就会出现困难。例如，如果备份数据通过inline产品进行加密，然后发送到像Sepaton S2100那样具有重复数据删除能力的存储系统，就很有可能无法对加密后的数据进行进一步的压缩或重复删除了。