分级存储与管理及数据自动迁移存储技术

而在分级存储系统中，一般分为在线(On-line)存储、近线(Near-line)存储和离线(Off-line)存储三级存储方式。

在线存储是指将数据存放在高速的磁盘系统(如闪存存储介质、FC磁盘或SCSI磁盘阵列)等存储设备上，适合存储那些需要经常和快速访问的程序和文件，其存取速度快，性能好，存储价格相对昂贵。在线存储是工作级的存储，其最大特征是存储设备和所存储的数据时刻保持“在线”状态，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。

近线存储是指将数据存放在低速的磁盘系统上，一般是一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备。近线存储外延相对比较广泛，主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到(例如一些长期保存的不常用的文件归档)，或者说访问量并不大的数据存放在性能较低的存储设备上。但对这些设备的要求是寻址迅速、传输率高。因此，近线存储对性能要求相对来说并不高，但又要求相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的较大比重，这也就要求近线存储设备在需要容量上相对较大。近线存储设备主要有SATA磁盘阵列、DVD-RAM光盘塔和光盘库等设备。

离线存储则指将数据备份到磁带或磁带库上。大多数情况下主要用于对在线存储或近线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级存储。离线存储通常采用磁带作为存储介质，其访问速度低，但价格低廉的海量存储。

分级存储设备是根据具体应用可以变化的，这种存储级别的划分是相对的，可以分为多种级别。如可以采取FC磁盘-SCSI磁盘-SATA磁盘这种三级存储结构，也可以采取SSD盘-FC磁盘-SCSI磁盘-SATA磁盘-磁带这种五级存储结构，具体采用哪些存储级别需要根据具体应用而定。

管理的关键技术

分级存储管理(HierarchicalStorageManagement，HSM)起源于1978年，首先使用于大型机系统。存储实现分级以后，在线存储、近线存储和离线存储存放的数据价值不同，在同一级别存储内部(比如在线存储和离线存储)，存放的数据也应该不同，实现每一级别内的“分级存储”。如何将各个级别存储中数据统一管理起来便成了最为关键的问题。

分级存储管理是将离线存储、近线存储和在线存储融为一体的技术。在分级存储系统中涉及许多技术，如数据增量扫描技术、基于多指标的数据分级策略、在线迁移中的一致性保证技术、数据自动迁移存储技术、存储虚拟化技术、分级存储管理技术等等。这里主要就几个关键技术进行讨论。

增量扫描技术

在一个文件数为10亿级的大规模文件系统中，选择分级存储管理操作的候选对象可能是非常耗费资源的，一般须扫描整个文件系统的名字空间。而每秒大约能扫描5000个文件，扫描10亿个文件大约需要27小时。现有的分级存储管理工具一种是集成到文件系统之中，一种是存在于文件系统之外。无论是哪一种，能够获得文件访问情况并利用这一特性，大幅度减少文件扫描规模，减少维护文件访问信息的开销是非常重要的。

如于一个20万个文件的文件系统，每天只有不到1%的文件被访问。随着文件系统规模增加，访问百分比期内所有被访问文件的访问统计(包括访问次数和文件大小)、总访问热度等信息，通过增量扫描技术，元数据服务器不必扫描整个文件系统，而通过定期获取近期访问过的文件信息，这样就可大大减少维护文件访问信息的开销。

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友