存储专家:揭开IP存储的神秘面纱

本文着重介绍了基于iSCSI协议的IP 存储技术、现今存储界的IP 存储产品、应用方案以及IP 存储发展前沿。

前言

2003年2月，北半球隆冬的气息还没有散去，但是每一个IT人的心中都知道，经过9.11洗礼后的IT的春天已经悄悄向我们走来。

11日，一个平凡得不能再平凡的日子，IETF（Internet Engineering Task Force，互联网工程任务组）通过了iSCSI（Internet SCSI）标准。

此时，还没有人试图将iSCSI（Internet SCSI互联网小型计算机系统接口）与SCSI（Small Computer System Interface，小型计算机系统接口）、FC(Fibre Channel光纤通道)相提并论，此时的存储界，用“波澜不惊”四个字来形容再合适不过了。

大家心里似乎还保存着这样的概念，1986年诞生的SCSI沉重地叩响了存储的大门，1994年由ANSI标准化组织制订的FC带领着无数人走进了存储的殿堂。而iSCSI带来了什么？它只是殿堂中一幅供人欣赏的梵高抽象派油画？还是通向殿堂中各个角落的走廊？还是大厅中辉煌的灯光？

下面，就让我们一起揭开它的面纱吧。

解析IP 存储谜团

存储圈是一个纷扰的世界，里面充斥着各种各样的理论和概念：让用户头晕的DAS、NAS、SAN、FC SAN、IP SAN，很多专业工程师也不能讲清楚的SCSI、FC、iSCSI、iFCP、FCIP、InfiniBand体系等等。

本节将从两个方面比较详细的介绍IP存储的相关知识，首先介绍在存储最底层的存储协议，而后介绍基于这些协议搭建起的存储网络。

下面，让我们花些时间和篇幅说一说最底层的存储协议：

存储协议浅析就像大部分新的技术都是要经历从发布到普及一样，存储技术的发展都要经过一个过程。

SCSI协议的发展从带宽5M发展到现今的320M，只经过了不到二十年的时间。后续的版本陆续增加了能满足特殊设备协议所需要的命令集，使得SCSI协议既适应传统的并行传输设备，又能适应最新出现的一些串行设备的通信需要；同时，对传输的速度也做了非常大的提升，SCSI 5规定了640MB/s的传输速度。但是SCSI仍然不能规避其连接设备数目太少、距离太短、主机共享性低等一系列的问题。

与SCSI有血缘关系的SSA发展到160M的时候，随着其创造和倡导者――IBM推出DS8000以后，也似乎预示着它走到了尽头。

再看看FC，从诞生之日起，它便以一个贵族、一个SCSI的终结者身份出现。从1G到现在新推出的4G，以及将来推出的10G，发展速度之快令人乍舌。

也许正是应了那句话：“贵族永远解决不了平民的问题。”虽然它不断的自降身价，从1999、2000年动辄百万到现在少则二三十万就可以搭建一个FC系统，它却依然秉持着贵族的一贯作风――想与它交流，至少要穿一件像样的贵族服装。不可或缺的FC HBA和昂贵的FC硬盘永远是它心里永远的痛。原因很简单――它流淌的是贵族的血液！而终结SCSI使命达成之日似乎也正变得遥遥无期。

越来越多的用户正在翘首以盼，新的技术能够改变他们日益混乱的系统，改变他们越来越多地购买新产品和管理的大量投入。而当虚拟存储的大旗飘洋过海来到中国的时候，我们恍然发现那也只不过是个噱头。面对厂商之间的技术壁垒、打补丁出身的供货商、高昂的产品价格，想要尝试的想法正在逐渐变得软弱无力。

iSCSI的横空出世似乎正在向人们宣告，平民出身的它正在以义无反顾地姿态展现在人们面前：将SCSI、FC融合在一起，创造一个新的存储纪元！

而此时我们却惊奇的看到一个个厂商将iSCSI应用在了不同的领域，创造出了不同的产品：一个个用网线代替SCSI、FC线缆的磁盘阵列（IBM在2001年iSCSI正式发布以前就迫不及待的推出了200i）、NETAPP将iSCSI接口用在了自己的一个个NAS阵列――去弥补NAS只能用于文件存储的先天不足、Cisco、SANRAD等推出基于iSCSI技术的交换机……似乎每一个厂商都在抱着自己的家底，想让老树开出新花。

恰逢FCIP、iFCP也正跃跃欲出，我们到底应该如何选择？我们用户是该高兴还是悲哀？是应该为新的技术的推出即将解决我们现有的问题高兴？还是悲哀我们兜里的钞票已经被精明的商人们算计一空？

至少我们应该庆幸，商业环境日益激烈的竞争正在按照解决我们实际应用问题的方向前进。

所以，与其说摩尔定律验证了技术发展的时效性，还不如说，摩尔定律正一次次验证技术的发展正是依仗于商业发展的推动力。

下面，就花些篇幅来介绍一下在商业推动下产生并不断发展的令人眼花缭乱的存储技术吧。

SCSI

SCSI是小型计算机系统接口（Small Computer System Interface）的简称，它是在美国Shugart公司开发的SASI的基础上，增加了磁盘管理功能而成的。SCSI接口作为输入输出接口，主要用于硬盘、光盘机、磁带机、扫描仪、打印机等设备。现在已经发展到Ultra 320。

FC

Fibre Channel （FC）是1994年由ANSI标准化组织制订的一种适合于千兆位数据传输通信的成熟而安全的解决方案。

Fibre Channel 与传统的SCSI技术相比，除了提供更高的数据传输速度，更远的传输距离，更多的设备连接支持，更稳定的性能，更简易的安装以外，最重要的是支持最新的网络区域存储（SAN）技术。

现在已经产业化的是2G的FC技术，4G的FC产品也已经通过测试，Brocade、Cisco、Qlogic、Emulex都已经推出或马上推出相应技术的产品。

iSCSI

iSCSI（Internet SCSI互联网小型计算机系统接口）是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。它是由Cisco 和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。

iSCSI的优势主要表现为：首先，建立在SCSI、TCP/IP这些稳定和熟悉的标准上，因此安装成本和维护费用都很低；其次，iSCSI支持一般的以太网交换机而不是特殊的光纤通道交换机，从而减少了异构网络和电缆；最后，iSCSI通过IP传输存储命令，因此可以在整个Internet上传输，没有距离限制。

成也IP，败也IP。iSCSI的缺点在于存储和网络是同一个物理接口，同时协议本身的开销较大，协议本身需要频繁地将SCSI命令封装到IP包中以及从IP包中将SCSI命令解析出来，这两个因素都造成了带宽的占用和主处理器的负担。但是随着专门处理iSCSI的ASIC芯片开发(解决主处理器的负担问题)，以及10G的普及（解决带宽问题），iSCSI将有着更好的发展。

FCIP

FCIP(Fibre Channel over TCP/IP),将FC协议封装到TCP/IP包中，从而使FC通过网络进行传输。FCIP由Brocade、Gadzoox、朗讯、McData及Qlogic共同提出。

FCIP解决了FC的传输距离问题，即解决了SAN之间的互连互通。

FCIP的缺点在于：首先，FCIP只能在FCIP设备之间建立点到点连接，即FCIP设备一端（IP端）和另外一个FCIP设备的IP端进行连接，FCIP设备的另外一端（FC端）和FC光纤通道交换机进行连接，FCIP设备无法在两个独立存储设备之间提供本地IP连接；其次，由于FCIP是一种不透明的传输协议，即一个SAN向另一个SAN发送的信息在FC层没有错误检测，容易将一个SAN上的错误蔓延到各个SAN；再次是FC和IP网络之间线速的不匹配，或者FCIP引擎的低效实现，都有可能使得FCIP设备成为一个瓶颈。如果FCIP通道崩溃，两个远程FC交换机之间的连接也不会自动恢复，这对商业应用来说显然是难以接受的。

基于FCIP的设备现在有Brocade多协议路由器等。

iFCP

iFCP（Internet Fibre Channel Protocol）是一个网关到网关的协议，iFCP可以直接替代FC架构，通过iFCP存储交换机可以直接连接FC的各个设备并进行分组，而不仅仅是简单地对FC SAN进行远程连接。

iFCP的优势在于在建立连接的同时能够建立网关分区，它可以将出现问题的区域隔离起来，并克服了点到点隧道的限制。基于iFCP实现了SAN的路由故障隔离、安全及灵活管理，具有比FCIP更高的可靠性。

iFCP由Nishan Systems倡导，McDATA开发了基于iFCP的产品。

InfiniBand体系

InfiniBand简称IBA,由Mellanox公司提出，是一种新的I/O总线技术，用于取代目前的PCI总线。IBA主要应用在企业网络和数据中心，也可以应用在高速线速路由器、交换机、大型电信设备中。

IBA传输率可以达到30Gbps，同时系统通过双CRC、虚通道、优先级控制、基于信用的流控制来维持较高的性能和可靠性。IBA还提供了内部和外部的互连支持。在软件和操作系统方面，Mellanox公司发布了应用于Linux操作系统的IBA标准，同时微软的Windows2000和未来的Whistler也提供了对IBA的支持。

自从iSCSI正式发布以来，存储圈对于FC SAN和IP SAN的争论一直就没有停息过，圈外人对于FC SAN和IP SAN也是一头雾水。

在存储技术历史的长河中，让我们一起找寻它们的根源。

SAN的概念

SAN（Storage Area Network存储区域网络）是一个由存储设备和系统部件构成的网络，所有的通信都在一个与应用网络隔离的单独的网络上完成，可以被用来集中和共享存储资源。SAN不但提供了对数据设备的高性能连接，提高了数据备份速度，还增加了对存储系统的冗余连接，提供了对高可用群集系统的支持。

简单地说，SAN是关联存储设备和服务器的网络。它和以太网有类似的架构。以太网由服务器、以太网卡、以太网集线器/交换机及工作站所组成，SAN则由服务器、HBA卡、集线器/交换机和存储装置所组成。

SAN的历史

在上个世纪80年代，连接主机和存储设备的标准方法是通过像IDE或并行SCSI这样的接口实现的点对点的DAS(直接连接存储)方式。并行SCSI提供了相对快速的访问SCSI硬盘的速度(5MBps或10MBps)，并且几个硬盘可以通过同一个接口连接到计算机上。

但是，随着存储子系统变得越来越大，计算机变得越来越快，一个新问题出现了：外部存储设备开始变得庞大起来。磁带库、RAID(廉价冗余磁盘阵列)和其他SCSI设备开始需要越来越多的空间，这就要求并行SCSI连接从主机延伸出来得越来越远；同时，主机系统要求更高的I/O(输入/输出)速率。另外，应用系统希望采用同一个存储系统，SCSI带来的连接数目的限制也摆在了人们面前。

为了满足这些新的需求，人们开发了为存储设备提供千兆串行网络访问能力的光纤通道(Fibre Channel)协议。光纤通道协议综合了许多优点，如单模光纤最远距离可达到10公里，通过连接设备可达100公里，可以使用多种介质的简单串行线缆（光缆、铜缆）、千兆网络速率以及可以在同一线缆上同时使用多种协议。这些特点使得光纤通道协议作为并行SCSI协议的替代者在整个90年代都得到了人们的认可，现在光纤通道协议被用在绝大多数高容量、高端直连存储设备上。

随着光纤通道协议作为并行SCSI的点对点方式替代者的出现，并随着其逐渐被市场所接受，一种组合单纯的存储应用与网络技术于一身的新技术出现了――这就是存储区域网络(Storage Area Network，SAN)。

以光纤网络搭建的SAN，具有三个主要元素：接口（FC）、连接设备（光纤交换机、Hub等）、协议。加上附加光纤接口存储设备以及服务器就构成了SAN系统。

在iSCSI诞生以前，搭建SAN只能选择光纤通道，这也是SAN曾经成为光纤存储网络代名词的原因。

FC SAN与IP SAN

在iSCSI出现以后，用以IP技术搭建的存储区域网络应运而生。这时候SAN就不能作为光纤存储网络的代名词了，因此，我们不得不将SAN这个“名”前面加一个“姓”便于区分两种不同技术的存储网络。

以光纤搭建的存储网络是FC SAN，以iSCSI技术搭建的存储网络叫做IP SAN。

以上两张图是我们常见的网络拓扑图，能够很明显的区分FC SAN和IP SAN，从图中我们可以很明显地看出，两种存储网络最大的区别是作为网络的核心连接设备不同，导致了连接线缆的不同：FC SAN使用光纤交换机，通过光纤（或者铜缆）连接主机和存储设备，网络中的协议是FC；IP SAN使用以太网交换机，通过IP连接主机和存储设备，网络中的协议是TCP/IP。

当然，还有一种特殊情况是，网络中采用iSCSI技术的交换机（例如Cisco的SN5420以及SANRAD的V Switch），和主机连接使用TCP/IP，和存储设备连接采用FC或者SCSI。

FC SAN和IP SAN的对比

从上图我们也可以看出，FC SAN和IP SAN都将整个系统规划出两张网：一张是面对应用网（或Client/Server架构或Browzer /Web server架构）；另一张是存储网（由主机中的HBA卡、交换机及存储设备三层结构组成的SAN），它专门解决主机系统对磁盘的块级（Block-Level）存储数据调用。这也是使用SAN的原因之一。因为NAS除了未建立独立的存储网外，另一个重要原因是它只能解决对文件级的调用（当然，NETAPP通过使用iSCSI技术使NAS设备具有iSCSI接口解决了数据库调用的问题，这将在以后的章节中详细的探讨），只有SAN才能支持数据库的块级调用。

以IP网络起家的网络厂商巨头Cisco及主机厂商巨头IBM认为，应该寻求一种新的方式，以与应用网相同的体系架构、技术标准去构造存储网，这不论从技术构造上，还是从经济成本分析角度看，无疑都是理想的。为此，两家联手，于2001年1月发起成立IETF工作组，专门研究与开发iSCSI技术标准，以此统一应用与存储分开的两种网络类型。几十家专业化IT公司的共同努力，IETF 的iSCSI RFC标准终于在2003年2月11日通过。至此，产生了与应用网完全同构的存储区域网，即IETF iSCSI标准支持的IP SAN。

对各行各业的IT技术人员而言，网络技术是基于Ethernet及TCP/IP构筑的，它们的许多应用已建立在Internet的架构之上，并期待着存储网络化最终会向这个方向迈进。过去IT发展的历史已经说明，包括Token-Ring、FDDI、ATM以及Bell发明了一百余年的、面向连接的语音交换技术，都将统一融合到TCP/IP为基本架构的Internet上去。SAN也将向基于IP网络方向发展。

其实FC SAN的弱点是它的物理机理决定的，它无法使存储设备随它在Internet上运行，从而无法满足应用前端对存储数据“无时不有、无处不在”的要求。FC SAN的物理覆盖有限，不超过50公里。这样容易形成存储孤岛。物理覆盖有限面临的第一个挑战是异地备份解决方案如何基于FC SAN设计。

当年人们解决信息孤岛问题，发展网络技术，产生通信子系统，用了大约20年的时间，使得IT技术大踏步地发展到今天，而今又面对存储孤岛问题。存储孤岛无法解决地理阻断对系统级数据的问题，包括数据迁移、复制、备份等不同级别的存储系统数据整合问题。

IP SAN最显著的特点就是价格低廉以及无限长度扩展的先天优势。这不正是虚拟存储解决的问题之一吗？（关于通过使用iSCSI技术实现虚拟存储的问题，将在以后的章节中介绍）

不可回避的是，IP SAN也正在面临着一些不可回避的问题的困扰：

首先就是传输效率问题：TCP/IP传输效率不高，又经过了iSCSI协议的打包拆包过程，传输效率与FC相比还是有些不足的。但是有测试表明，在无网络通讯干扰的情况下，iSCSI的性能已经接近甚至达到了1Gb光纤通道技术的性能指数。随着10G网络的推广，iSCSI必能解决这些问题；。

其次是IP存储产品目前用户的认知度还不够。

再次是IP存储并不是在现有的IP网络上连接一个带网卡的存储设备那样简单，同样需要一些专门的驱动和设备。可喜的是，现在，Adaptec等传统光纤通道适配器的厂商都发布了iSCSI HBA，Intel公司依仗自己在网络及芯片领域的霸主地位，推出了专用的IP存储适配器，Microsoft、HP、Novell、SUN、AIX、Linux也具有了iSCSI initiator软件，帮助用户免费连接iSCSI设备。

最后是安全问题。对于用户来讲，存储设备放置的是用户最为关键的数据，这些数据也往往是保密性的，一旦把这些数据放置在IP网络上，安全问题将变得异常突出。IETF的Internet工程指导小组(IESG)要求在三种IP存储协议中使用IPSec：iSCSI、FCIP和iFCP。负责IETF IP存储工作组传输领域的人员认为，窃听是IP协议存在的安全漏洞，而这正是IESG坚持加密能力的原因。还有一些厂商认为，依靠IPSec解决IP存储安全问题并没有抓住问题的关键。尽管IPSec可以保护在IP网络上传输的存储数据的安全，正如它保护IP VPN上传输的数据那样，但是它没有采取任何保护存储设备上数据的措施。保护存储设备上的数据需要使用采用3DES 或高级加密标准(AES)的加密芯片。

其实从最低层技术角度上讲，光纤通道并没有人们想象中的安全，其实它是工作在第二层的协议，原本并没有建立安全机制。而iSCSI规范包含了initiator和目标验证(使用CHAP, SRP, Kerberos, 和SPKM)来防止未经授权的访问同时只允许可信赖的节点访问。作为补充，IPsec可以提供安全保证，防止侦听。所以说，本质上讲，iSCSI比光纤通道要安全的多。

由此可见，IP SAN的发展，也必将经历一个过程。但是可以预见，iSCSI必将获得长足的发展。

编外话

自2001年成立IETF到iSCSI标准正式颁布，有包括IBM、HP、SUN、COMPAQ、DELL、Intel、Microsoft、EMC、HDS、Brocade、SANRAD等50余家厂商一起参与

也许，就像是当年IBM离开SCSI开发小组，独立研发出SSA（串行存储结构）一样，在同一个研发小组中，每个厂商受到各自商业利益的驱使，一个新技术的诞生过程必将“久经考验”。但无数的事实证明，只有符合IT技术发展的潮流，真正能满足用户需要的技术，才是最富有生命力的技术。

或许在不久以后，IETF中的种种逸事也会像IBM的SSA一样，广为流传吧。