全面接触近线存储技术/设备

欧主管这几天比较郁闷。

那天，电子商务网站被迫中断了40分钟。Sales下不了单子，急得直骂；客户得不到服务，气得投诉。一时间，欧主管及所在部门成了众矢之地，连一向敬他三分的大老板，也开始给脸色。这让一度孤芳自赏的欧主管立觉无地自容。

怎么回事儿呢？

欧主管知道原因，是业务数据增长太快了。出事那天，需要备份的生产数据异常的多，在平时设置的指定时间里，来不及将数据全部备份到磁带库中，占据了大量业务数据存储空间，导致业务无法继续。

对于如何解决这件事，欧主管闭门苦想了两天，也没想出个所以然来。

唉！还得求助i博士和钱经理。
谈需求

业务要永续 查询要快捷

硬盘作为在线存储的一种选择，它的优势是能够迅速提高有效数据的获取时间和具备较高的可用性，缺点是牺牲了硬盘的寿命；磁带存储是离线进行的，在对可靠性需求高和有灾难备份需求的应用环境中能够发挥巨大的作用。磁带仍然是长期和离线存储的首选介质。而基于硬盘的虚拟磁带库用于备份窗口小，适合需要快速恢复的客户。为了保证客户数据的安全性，基于硬盘的虚拟磁带库应与磁带产品配合使用，给客户提供双重的数据保护。

周六下午，i博士和钱经理如约来到位于朝阳门丰联广场首层的“星巴克”，看到躲在昏暗角落里满脸颓唐的欧主管，两人不免生出一丝怜悯。心想，得好好帮帮老哥。

听完欧主管的述说，i博士马上出了一个点子：运用近线存储技术，可以保证业务连续运行。

“近线存储？没听说过。它是一个什么技术呢？”欧主管疑惑地问。

“近线存储就是近似在线的存储。”i博士回答道。

传统存储难免中断

他接着说，传统存储数据的方式有两种：在线存储和离线存储。

在线存储是指存储设备和所存储的数据时刻保持“在线”状态，可供用户随意读取，满足计算平台对数据访问的速度要求。就像PC机中常用的磁盘存储模式一样。一般在线存储设备为磁盘和磁盘阵列等存储设备，价格相对昂贵，但性能较好。

离线存储是对在线存储数据的备份，以防范可能发生的数据灾难。离线存储的数据不常被调用，一般也远离系统应用，所以人们用“离线”来生动地描述这种存储方式。

离线存储介质上的数据在读写时是顺序进行的。当需要读取数据时，需要把磁带卷到头，再进行定位。当需要对已写入的数据进行修改时，所有的数据都需要全部进行改写。因此，离线存储的访问速度慢、效率低。离线存储的典型产品是磁带库，价格相对低廉。

“相信，这两种方式你的存储环境肯定都用了。”i博士停下来，问欧主管。

欧主管马上回答，“是呀，我们都用了，而且只用了这两种存储方式。”

“正因如此，才让你的电子商务网站出现了中断现象。”i博士解释着。电子商务网站需要备份的数据在从磁盘阵列向磁带库转移的时候，需要花费一定的时间。当数据量突然增大时，应延长备份时间，或加快备份速度，否则在指定时间内，将无法使磁盘阵列的空间快速腾出，致使在线数据无处可存，从而造成中断。
细品“近似的在线”

i博士品了品咖啡，“其实，中断是完全可以避免的。如果因业务问题不能延长备份时间，你可以加快磁盘阵列到磁带库的数据备份。近线存储技术可以帮助你做到这一点。”

所谓近线存储，就是近似在线的存储。它可以将那些并不是经常用到，或者说数据的访问量并不大的数据存放到性能较低的备份设备上。比起磁带备份，近线存储设备寻址更迅速、传输率更高，同时又具有与磁带备份一样的海量存储容量。

1.保持连续

i博士分析说，有许多存储硬件业者、存储管理软件业者都在为加快数据备份而研究近线存储技术。总体来看，关于近线存储有三种声音。

第一种：无服务器备份

不透过备份执行服务器，直接让备份数据从磁盘阵列通往磁带库，节省一道“过境”程序，此称为“Serverless Backup”。

第二种：平行分拆备份

由备份软件同时驱动多个磁带内的读写臂，将备份数据进行多份的平行分拆，然后快速写入多个离散位置的磁带中，尽快让在线存储设备将备份数据释放，及早恢复正常服务。而磁带库在密集接受分离存放的数据后，直到处于读写低峰时，才会逐一将零散放置的数据重组成完整、连续存放的数据。

第三种：用磁盘虚拟磁带

不过，在多种近线存储技术中，以“Tape Buffer/Cache”最为直接有效。它不将备份数据直接送入磁带库，而是先送到以“ATA或SATA接口硬盘”组成的磁盘阵列内，之后才转移至磁带库。

Tape Buffer/Cache的作法是：让近线存储设备将备份数据送至磁盘阵列后，即算完成备份作业，可以及早恢复正常服务工作，之后再由磁盘阵列将数据转拷至磁带库中，完成最终、真正的低成本保存。可见，磁盘阵列如同磁带库备份的前置缓冲存储区。

至于Tape Cache，则是近线存储设备的真正角色。由于它内部存放的仅是可能、经常频繁查询的数据，而非全部的被保存数据，因此称为Cache(快取)。若真的遇到需要查询的数据又未放在近线存储设备上，也是由近线存储设备向磁带库发出调用需求，待取得数据并复制到近线存储设备内部后，再传送给需要查询的使用者中。

此外，磁盘本身就是可读可写的，只要在近线存储设备内进行机制设计，也可以模拟成只读型的查询系统。

i博士补充说，“我所讲的，以第三种近线存储技术为主。”

他还说，“保持业务连续只是近线存储技术的功用之一，它的另外一个优势是能够提高数据归档与查询等应用的效率。”

2.查询高效

高效的数据查询功能对企业越来越重要。目前许多代工企业都被国外订单客户要求各种数据必须遵从安全规范(如BS7799)，若无通过规范认证者，则无资格争取订单；还有许多要上市上柜、增资、发行公司债的公司，或承接此类业务的金融业者，也开始对相关营运数据的查询效率和完整性有更高的要求。近线存储技术源起的一个原因也在于此。

听到这儿，欧主管眼睛越发有了神采，忙说，“我一直觉得我们查询数据的速度太慢，近线存储技术能解决这个问题，还能帮助我们遵从法规，我说什么也要选它了。”

i博士笑了笑，心想，我给你的选型建议，哪个不是一箭双雕呢。表面上，他却说：“近线存储能让你既保持业务连续，又提高查询历史数据的速度。的确是你的不二之选”。
话采购
少花钱多办事

“有你这句话，我更放心了。”i博士和钱经理都觉得，欧主管现在的气色比刚进门的时候明显好转。“不过，你还得跟我说说，我怎么选择适合我应用的近线存储设备？”

“没问题，不用劳驾i博士，我就可以给你讲讲。”一直沉默的钱经理终于说话了。

好管、好扩、好用和高质

考虑到欧主管所在企业隶属于金融行业(其实是金融行业的衍生企业)，根据这个行业数据保护的特点，钱经理建议欧主管特别关注近线存储设备的可管理性、可扩展性及可用性等特点，同时注意高性能、高容量等指标，以真正实现零停机的数据保护。

钱经理一再强调，近线存储设备的可管理性一定要好，要能够利用各种不同的手段获取数据拷贝，实现各种级别的数据安全和高可用性，并在不同的存储设备中迁移数据、管理数据。

为减少人工操作，在线存储设备需要具备自动备份功能，用户只须简单的设置，备份即可自动完成。

用户采用近线存储设备最主要的目的是快速备份，特别是欧主管的网站，需要尽量短的备份和恢复时间。欧主管应根据自己的备份量和备份时间的要求，计算出单位时间内需要的备份量，以此为依据，选择具有相应处理能力的近线存储设备。

除此之外，欧主管还要关注近线存储设备的扩展性，此扩展性是指所用存储系统所容纳的存储量有多大，应该能够根据应用的变化动态地调整。

由于近线存储成本较低，欧主管一定要考虑部件的质量和稳定性，比如Cache可否做镜像；Cache有无断电后的电池保护，若有，能保护多长时间；所有部件是否冗余；SATA磁盘是否采用了特殊技术手段做到故障预防、提前报警以及通过自处理方式排除故障；如果磁盘出现问题，能否保持系统的不间断运行等等。

当然，性能也很重要，它表现了对历史数据的访问速度、IOPS(I/O Per Second，即每秒输入输出次数)以及系统吞吐量。

另外，欧主管还要搞清楚要选择的设备类型，是选择单纯的近线存储设备？还是既支持近线存储又支持关键业务访问的高性能存储设备？如果选用两种特点都具备的存储，就需要看磁盘阵列是否能同时支持光纤磁盘和SATA磁盘，是否能对两种不同磁盘进行分区。

同时，欧主管一定要了解近线存储设备是否支持用户特定的业务功能。目前，存储虚拟化功能就是一种提升近线存储解决方案价值的重要手段。它能够不断提升近线存储的空间，还可以对其数据进行管理，包括快照、远程复制和容灾、数据迁移、数据生命周期管理等等。
金融行业可以采用全面的数据镜像——分割备份的方式，将生产环境与备份和恢复环境分开，为关键业务应用和数据库提供安全的自动实时备份。在备份进行过程中，应用将保持不间断运行，而且性能丝毫不受影响。
三款典型方案

“哦，原来是这样。以我现在的状况，你再给我推荐几款合适的产品吧。”欧主管紧接着讨教。
钱经理这回没卖弄，直截了当地说：“我这就告诉你适合你用的几款近线存储设备。”

图1 HP StorageWorks 6000

StorageWorks 6000(如图1所示)允许用户将数据备份到虚拟库系统，然后再通过主备份服务器备份到磁带库系统。

StorageWorks 6000提供了共享存储配置和维护的自动化和虚拟化，在降低复杂性的同时，保持了单一系统的可管理性，从而大大提高了备份和恢复性能。

StorageWorks 6000能够模拟常见磁带库和磁带机，符合现有数据保护环境，从而不必对备份软件或监控政策做出改动。通过同时模拟多个磁带机，可以并行完成更多备份任务，以缩短备份时间。

如果数据是保留在磁盘上的， StorageWorks 6000可以进行快速恢复，减少了磁带移动和安装时间。因为它具有超过500MB/s的聚合性能和高达90MB/s的单一流性能。并且随着存储要求的提高，它的容量和性能还可以进行扩展。如果数据仍存在于虚拟库系统中，数据依旧保持联线状态，恢复的速度会比物理磁带快很多。

图2 HDS WMS100

WMS100(如图2所示)采用高容量 SATA 磁盘，为了改进数据保护，除 RAID-5、1+0 和1之外，还可以采用RAID-6技术，保证在单个RAID 组中最多两个磁盘故障时的数据可用，同时减少磁盘故障时进行 RAID 组重建的时间。

主要功能包括：允许使用与管理SAN容量相同的工具，管理基于IP的容量，因而减少管理开销；支持NFS、CIFS和FTP协议，提供快照和复制软件；让用户能够将高速缓存专用于特定应用和容量，从而优化关键业务应用的性能；具备4Gb/s光纤通道连接能力，提高了像视频点播和医学成像之类应用的性能；拥有“RAID 6”双重奇偶分储(Parity Striping)功能，如果发生HDD问题，可提供更高可用性，缩短RAID组重建时间。

此外，WMS100采用了简化的软件，便于方便快捷地进行配置和管理。如基于磁盘的原始“单写多读”(WORM)软件，可永久保留记录以及创建符合标准的存储环境；而使用“写即复制”快照软件，可实现不间断高速快照数据复制。

图3 StorageTek FlexLine 600

FlexLine 600(如图3所示)可以灵活地平衡存储成本和不同类型数据的价值，以及不同数据对性能的不同要求。
在虚拟磁带库(Virtual Tape Library VTL)解决方案中，FlexLine 600作为主要的磁盘部件，同配以专门的存储备份软件和专用的VTL服务器，形成一个完整的解决方案。
基于策略的管理，它允许用户对数据进行分类；基于Web的接口，它让用户能在几秒钟之内完成设置、调整和配置等任务，并提供在系统级别超载预订和管理容量的功能。

FlexLine 600采用集成式控制器体系架构，具有高级RAID保护、智能错误处理及后台介质监控功能，提供了内在的企业级可靠性。并具有SATA存储备份性能，能够用于传统的磁盘对磁盘的备份。在作为全面数据保护策略的一部分而发挥作用时, FlexLine 600可以简化复杂问题，提高工作效率，并使不必要的成本最小化。另外，FlexLine 600还可以作为Intellistore智能存档文件解决方案的内部磁盘平台。

专家观点 ：近线存储与磁带备份、磁盘存储的差别
HP产品经理 张建军
虚拟磁带库、增强型备份、磁盘库，这些基于磁盘的备份技术似乎正在成为一种潮流，向传统的磁带库备份市场发起了强有力的冲击。于是，有很多厂商提出了以磁盘备份取代磁带备份、以虚拟磁盘库取代磁带库的说法。对此，很多业内厂商以及专家认为并非如此，磁带库将一直是数据备份产品的理想选择，而磁盘备份在短时间内只能作为磁带备份的一种有效补充。对磁带的需求将不断增加而不是减少，因为它仍是惟一适用于长期的、场外存档的廉价高容量媒介。
众多磁盘与磁带产品厂商认为，情况不是磁盘与磁带的对抗，而是磁盘与磁带共存。基于磁盘的备份将被用于从本地系统故障中快速恢复数据，而磁带将用于满足法律要求的数据的长期存储，或用于从摧毁整个数据中心的灾难中恢复数据。
在虚拟磁带技术中，每个主机向一个或多个虚拟驱动器写入，就像磁带库一样；所有的传输均由备份软件控制，向磁带的传输通过备份服务器发生。
虚拟磁带设备的设置就像物理磁带库那样，管理人员无须重新学习；同时，它可以提供基于软件或硬件的数据压缩，使磁盘能容纳更大的数据；在性能方面，用户可以针对连续读写操作调试硬件设备；在成本方面，虽然购置成本较高，但通过压缩获得了更大的存储效率，备份软件与磁带库捆绑使用，而且具有较低的管理费用。
在以Data Protector软件为代表的写入磁盘技术中，每个主机向其位于低成本磁盘阵列上的自身文件系统进行写入，所有的文件传输均由备份软件控制，向磁带的传输通过备份服务器发生。
写入磁盘技术需要对RAID组、LUNs、卷和文件系统进行配置，并且无法提供设备端数据压缩，系统性能取决于目标磁盘阵列或服务器；同时，这种技术在绝大部分备份应用中都是免费或按TB颁发许可，需要较高的管理费用。因此，写入磁盘技术的管理成本比较高，设置程度复杂，无法实现磁盘空间的高效利用。
近线存储“等”人喝采
HDS技术顾问 陈健
近线存储的应用在中国市场还未形成规模。
目前，大多数国内用户无法对自己业务进行全面分析和数据量化，对存储方面的知识和技术认识不够，因而难以对业务数据的存储进行系统的规划和布局。因此，厂商还需要进一步推广自己的存储产品和解决方案，以对潜在用户进行教育，提高他们对自身存储需求的认知度。
StorageTek产品经理 魏燕
近线存储的应用处于起步阶段。由于数据量的爆炸增长以及IT投资的不确定性，使得用户在整体投资方面尽量考虑单位存储容量的成本更低，这使得近线市场发展得很快。但对近线存储的概念还应进一步加强，要深刻体会近线解决方案的适用范围以及对数据保护的级别要求，不能一概以成本论英雄。
一般来说，用户选择近线存储是因为数据量大、备份/恢复频繁、备份/恢复时间要求高、可靠性要求高等诸因素。
近线存储“玩”的是艺术
HDS技术顾问 陈健
要用好近线存储，关键是要全面分析企业自身的业务，选择最合适企业需求的近线存储产品和解决方案：
如何把握呢？需通过全面分析企业的业务，并对其进行数据量化，按照业务数据的关键性、价值和生命周期进行归类，从而对其数据存储进行规划，同时处理好其近线存储、在线存储和离线存储的接口问题。
StorageTek产品经理 魏燕

我认为首先要明确近线存储的适用范围。近线存储适合于数据备份、数据归档、数据查询等类型的应用，但不适合在在线交易系统中使用。
你会用近线存储吗？
HP产品经理 张建军
这要看用户的存储系统是否面临如下问题：是否由于缓慢的服务器而不能满足备份时间要求；是否要执行很多单个文件恢复；是否要对磁带库系统进行流操作；是否要备份具有较短生命周期的数据；是否要对非关键数据使用快照和克隆技术……如果是，则应该选择近线存储技术。
HDS技术顾问 陈健
适合所有有法规遵从需求和历史数据保存管理需求的行业用户。例如上市公司、电信业、金融企业、媒体、医疗行业、建筑业等等。