云存储的重复数据删除架构的研究与设计

随着各行各业信息化的要求越来越高，需要存储的数据量越来越庞大，然而，已经存储的数据中有相当一部分是重复的，这样既浪费存储空间又增加了存储的工作量。为了缓解存储系统的空间增长问题，重复数据删除技术已成为一个热门的研究课题。

云存储技术以提供数据存储服务来解决存储设备管理维护、安全稳定和成本问题，实现存储设备向存储服务的转变。重复数据删除技术旨在消除数据大量冗余，缩减存储空间。两种技术的结合，充分将两种技术的优势发挥得淋漓尽致，既能将海量数据存储在云端，又能充分利用云端的存储资源。两者结合有很大的应用价值。

本文通过研究重复数据删除和云存储，提出了一个基于云存储的重复数据删除架构， 使得海量数据能够存储在云中并且拥有重复数据删除的能力。它采用In-line方式对文件进行数据块级与字节级相结合的重复数据删除，使用MD5算法计算数据块的哈希值并与已存在的数据哈希值对比来判断上传的数据是否存在于云中。

1.云存储简介

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术和分布式文件系统等功能将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

1.1 云存储结构模型

云存储是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。现有的云存储结构模型如图1所示。

图1 云存储结构模型图

1.2 云存储与重复数据删除

云存储是将使用了弹性配置和按需付费的因特网技术的可扩展、弹性的存储能力作为一种服务在服务提供商和用户之间传输。因为云存储提供了完整和安全的访问控制机制， 所以大部分用户都愿意将数据存储任务交予云存储。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友