中立备份专家评测重复数据删除产品

据国外媒体报道，根据近期中立的比较评测，目前最快的去重操作是采用了飞康重复数据删除软件的Sun 8-node cluster。

备份专家W Curtis Preston比较了不同厂商的重复数据删除产品。他使用了供应商自己的性能数字，且在每个node都有自己的独立指针的情况下忽略了多node的重复执行情况。

Preston说，一个储存在单一重复数据删除产品上的新文件将不会被去重，而储存在多套产品上的同一文件则会被重复去重。每套产品都是独立的。

采用了Data Domain产品的阵列就不会分享其global指针。Preston说："NetApp，昆腾，EMC和戴尔，（也）只针对自己的数据进行重复删除。Diligent，飞康和Sepaton都有多node/global删除。 "

比如5-node的Sepaton重复阵列就会共享global指针和节点来增加删除比率。在这种情况下，一个多node的重复数据删除就好像一个单一的global删除系统。

Preston以8个小时的备份为基础，比较速率、数据采集率和去重率。一些厂商采用在线去重，一些则在数据摄取后进行重复数据删除，这也被称为后处理，因此这两个领域的数字很可能会有所不同。

厂商	数据摄取速率(MB/s)	去重速率 (MB/s)	备注
EMC	1100	400	2 node，数据各半 (没有global dedupe)
Data Domain	750	750	只有在OST下发挥最大性能, NFS/CIFS/VTL性能削减四分之一
Exagrid	188	无	只有1 node(没有globale dedupe)
Falconstor/Sun	11000	3200	8 node cluster，需要FC磁盘支持
IBM/Diligent	900	900	2 node cluster，需要FC磁盘支持
NetApp	600	无	2 node，数据各半(没有global dedupe)
Quantum/Dell	880	500	摄取速率在后处理模式下进行 (否则可能会在500MB/s)
SEPATON/HP	3000	1500	5 nodes的global去重

8小时备份和去重比较结果

他比较了EMC（Disk Library），Data Domain，飞康/Sun，IBM/Diligent，NetApp，昆腾/戴尔和Sepaton/HP（HP OEM了Sepaton的产品）的去重速度。

飞康/Sun的组合使用了8-node cluster和FC驱动器，数据摄取量在11000MB/s。其次是Sepaton/惠普的3000MB/s以及EMC的1100MB/s。昆腾/戴尔采用了后处理而非在线，分数为800MB/s。

NetApp是最慢的，分数为600MB/s。其配置为2-node，但每个node的去重都是独立运行。昆腾/戴尔如果在在线情况下的去重速率可能会在500MB/s左右。

最快的重复数据删除引擎是飞康/Sun，去重速率为3200MB/s。其次是Sepaton/惠普的1500MB/s，然后是IBM/Diligent的900MB/s，Data Domain的750MB/s以及EMC的400MB/s。Preston没有找到NetApp的重复数据删除速度资料。

Preston也在寻找12小时的备份数据。如果供应商的数据摄取比率是重复删除比率的两倍，那么他们需要24小时以上来摄取数据，然后用12小时去重。这意味着其12小时备份的数据摄取效率只能去重率的两倍。

他还对重复数据删除的恢复速度做了比较，称为通货膨胀或补液。他的数据来源和使用的产品列在了其博客上。

这是首次全面和中立的进行重复数据删除速度比较，非常值得一看。