集装箱式数据中心的部署和实施

来源：互联网

2013/8/26 9:50:52

模块化IDC的形式有很多种，可以使设计方法和理念，也可以是产品。集装箱式数据中心可以认为是一种标准化的，工厂预制和预测试的大型模块化数据中心产品和解决方案。而这种工厂预制和预测试的模块化数据中心并不是依靠模块化这个概念本身来传递价值，而是通过基于模块化的标准化和产品化的数据中心子系统来达到提高可用性，降低成本的目的。

分享到：新浪微博腾讯微博

本文关键字：集装箱式数据中心部署和实施

1.集装箱式数据中心组成单元

其实是由不同的基础设施子系统组成的，包括IT，供电，制冷，机柜，布线和监控等，这与传统的数据中心并没有本质上的区别。在现在大型的数据中心中，用于支持IT设备的电气和制冷等系统都有各自独立的分区，它们的投资和占地面积与服务器机房已经是同等重要。因此在通过集装箱这种方式实施时，是需要通过不同的模块单元来实现不同的功能。而是否采用集装箱式模块来代替传统设计中的某一子系统也是要根据业务需求，场地限制以及偏好和习惯来作出取舍。以目前的技术水平，一个成规模的集装箱式数据中心可以由四种集装箱式设施模块组成：

1)集装箱式IT设施模块，它包括采用冷热通道布局的机柜系统，机柜配电，机房空调或机房空气处理单元(风机盘管)，用于采集机房温湿度和压力的数据传感器，照明和消防系统等;

2)集装箱式电源基础设施模块，它包括市电和柴油发电机接入的开关柜，UPS系统，蓄电池组，配电柜以及为供电系统制冷的空调;

3)集装箱式制冷基础设施模块，它包括排热设备，热交换器，水泵和控制系统。集装箱式制冷模块多采用带自然冷却功能的风冷冷机，因为风冷冷机的尺寸和功率段比较适合用于集装箱装备和模块化部署，其能效也较优;

4)集装箱式发电机组模块可以作为可选备用电源(本文不做详细讨论)，它包括柴油发电机，油箱和开关柜等。

集装箱式IT设施模块通常采用ISO标准货柜，一个40英尺的普通集装箱能够提供800RU~1000RU的机柜空间，最多可容纳1000台左右1U的服务器和网络设备。以此计算每个集装箱的IT容量可以达到150kW~400kW，在使用刀片服务器时功率可能更高。每个集装箱货柜自重3.6吨，加上内部的IT设备和机柜其总重量在20吨左右。

2.如何部署集装箱IDC

对楼体有承重和布局要求，集装箱式IT设施模块需要较高的楼体承重，而且集装箱的运输和部署需要较大的间隙和空间来完成，且不适宜于进入多楼层或高层建筑物;另外需要标准化IT设备，越多的标准化元素越能体现出工厂预制和预测试的优势。举例来说，Google是采用集装箱式IT设施模块的最典型的代表。据Gartner的数据显示，Google拥有约100万台服务器，每季度部署的服务器达到10万台，因此采用集装箱式的大规模部署对Google来说是最合理也最经济选择。

例如，eBay2012年初完成的一个大型数据中心项目“ProjectMercury”中采用了传统机房和集装箱式IT设施模块两种部署方式混和使用，来满足现在和未来可能发生的业务需求。位于美国亚利桑那州的两层数据中心设施中一层为传统IT机房，二层为办公区和储物间，楼顶部署最多11台40英尺集装箱式IT模块设施，总容量为6MW。经过测算，每台集装箱由卡车吊装至楼顶安装的时间为22分钟。eBay在新项目“ProjectQuicksilver”中，将继续使用这种思路。位于犹他州盐湖城的新建数据中心设施既能按5-40kW规模扩展服务器机柜，又按100kW扩展服务器集装箱。

目前，很多数据中心并不完全具备部署集装箱式IT模块的业务需求和场地条件，其中很重要的一点就是空间和承重的限制。

物理基础设施模块的使用较为灵活。集装箱式基础设施模块是将传统的数据中心基础设施各子系统进行模块化和标准化的集成。这些基础设施模块可以与集装箱式IT设施模块匹配使用。当设施现场不适宜部署IT集装箱时，基础设施模块也可以用于支持传统“砖石混凝土”数据中心内的机柜。传统数据中心设施的电气、制冷和发电机等系统多数位于数据中心的底层，集成化的基础设施模块同样可以安装在数据中心建筑物的底层或外围周面区域。即使在多层数据中心建筑中相对于IT集装箱，基础设施模块的部署对吊装作业的要求较低，和可供集装箱卡车装卸的泊位。集装箱式基础设施模块也同样拥适用于室内部署的模块，可以将所有的设备安装在一个支撑底座上，安装在数据中心建筑的底层电气分区内。

集装箱式电源和制冷基础设施模块可以用最精确和经济的方式满足业务需求。它既可以按容量需求以每个模块数百kW的规模进行扩展，又可以按可用性需求扩展冗余配置从N到N+1,再到2N。

集装箱式基础设施模块的应用也受到一些条件的限制。例如，基础设施模块和室内数据中心的距离，物理风险，尺寸限制因素，人员舒适性，法规要求和运输等都有可能成为制约条件。所以在考虑使用集装箱式基础设施模块，应将这些因素加以考虑。

集装箱式基础设施模块的典型应用如下：

寻求经济快速的方式为客户提供“分阶段可重复”部署的外包服务商

市电接入容量有余，但内部缺乏电源和制冷容量或空间的数据中心

时间紧迫的新建项目

在租赁场地上运行的数据中心

IT部门的工作人员期望能够管理供电和制冷

为现有基础设施的高PUE所拖累的数据中心设施

拥有闲置场地的公司

3.集装箱IDC优势

通常认为，这种便携式集装箱数据中心的尺寸为40*8英寸（小点的为20*8英寸），可通过汽车或者轮船进行运输。服务器、存储和网络等所有设备都可以容纳到这些集装箱里面。每到一个地方，只需要为它们提供电源和冷却液体等资源。

这种新型数据中心在吸引人关注的同时，也能解决很多IT管理人员所遭遇到的挑战。而且还能帮助在降低成本的同时，满足当前和未来IT基础设施的需要。

一、灵活性

很多设施都在持续不断的追求更快运算性能、更廉价的方式，来满足客户的要求。集装箱数据中心，其强大机动、灵活特性，能够满足传统数据中心不能顾及到的地区用户和计算需求。

二、冷却、电源轻松可扩

目前困恼很多数据中心的主要问题是电源和冷却资源不足当然也包括空间上的不足，因为要满足不断增长的用户需求。而集装箱数据中心可以快速扩充冷却和电源系统，为新增加的服务器提供电源和散热需求，以实现更高的计算密度。

三、快速部署

传统数据中心往往需要耗费2年的时间完成从概念设计到最终成型。当企业一项新业务落地的时候，时间就会显得非常紧要。集装箱数据中心能带来业务所需各种IT服务，而且还具备高性能、out-of-the-box部署的显著优势。而且也可以实现快速部署。

四、降低投资损失

当搭建传统数据中心租赁基础设施的话，很容易遭受投资带来的潜在损失。如果一项业务需要部署数据中心电源和散热系统，但其租约仅为18个月的话，就会使得这种在设计和构建传统数据中心业务上的投入变得没有多大的意义。而对于使用集装箱数据中心的业务来说，不再续约的情况下，可以将它们物理移植到数据中心物理基础设施与其他业务并入。

五、电源和冷却管理

IT部门和管理者可以利用集装箱数据中心来控制制冷液体的供给。相比传统数据中心，定制化数据中心的内外部系统监控数目会大幅减少，而且使用集装箱数据中心的话电源和冷却管理也会大幅减少，让IT部门腾出更多精力来管控功能和实现自动化管理。

六、极低PUE值

过时的设备所组建的数据中心其PUE值往往较低，从而会带来能源成本和碳排放的增加。而使用集装箱数据中心可以帮助解决这些问题。

七、更高的空间利用率

传统的数据中心，需要建设或改造一个完全专有的和新的空间。而集装箱数据中心更具灵活性，几乎可以放置在任何地方。这对于拥有闲置办公区或者仓库的企业来说，特别适合采用这种数据中心。通过使用这些空间，可以避免建设新的场地和为此而拖延项目实施的时间。

八、深化先进技术的采用

并非所有的企业都坐落在技术和IT行业集中的地方，这样往往使得它们很难找到优质的工程和服务来以建立高效的数据中心。而通过卡车运输集装箱数据中心，可以满足边远地区的企业或者工程对计算资源的需求。

九、提供坚固耐用外壳

在极端环境条件下运作的公司，往往会发现建设数据中心需要耗费额外的费用，以确保他们的IT设备从元素的保护。集装箱数据中心能够承受风、水、污染和任何毒害元素的侵袭和干扰。

十、全球化标准

当试图建立跨越国界的标准流程和操作规范时，企业往往面临着文化、语言和设备设计等许多障碍。集装箱数据中心提供简单的解决方案，以标准化预制设备的标准化策略，帮助降低工程成本、培训要求、备品备件、现场安装成本和现场测试和自定义编程等。

4.集装箱数据中心VS传统数据中心

集装箱数据中心是一个可作为数据中心构建的标准模块，将计算，存储，网络资源等IT设施都设计到一个集装箱中。集装箱通常在本地根据客户不同的需求配置好多个机架，然后再运到客户的位置进行部署。集装箱数据中心往往拥有较低的空间，电力及冷却成本的优势，而且可以部署在有电力支持的任何地区，甚至是停车场。

不同于传统数据中心的结构，传统架构一般有一个核心层而且所有的资源都作为一个整体来进行管理。模块化数据中心采用的是分布式的核心架构，相对于整体架构来讲，集装箱数据中心拥有以下几个关键性的优势：

可扩展性—集装箱数据中心的特点可以得提高数据中心规模变得很容易，如果要提高现有的计算能力，只需添加更多的模块，你可以向搭乐高积木一样完成这些操作。而如果在传统的数据中心里是需要停机才能完成扩展部署的，它可能会花费你数千甚至数十万美元，这取决于你应用程序的能力。如果是一个交易网站或者Web2.0的门户网站，即使停机的时间很短，付出的代价也是极其昂贵的。

管理—不同于传统的数据中心，集装箱数据中心拥有Lights–Out的功能，即每个单独的虚拟集装箱都是由服务提供商的网络运营中心来进行远程管理，这大大超过了传统数据中心雇佣员工来进行管理的成本效益。

故障处理—在一个模块化的数据中心，故障只会局限在每个数据中心的模块中，所以很容易诊断故障并进行处理。而一般的故障只需要简单的更换损坏的存储阵列或者服务器，即使现场的工作人员的专业知识很少都可以完成任务，更不用说还有远程提供的技术支持。

可靠性—由于集装箱数据中心是通过创建并利用数个集装箱模块来部署的，因此一个核心的彻底崩溃并不会影响到其他模块的正常运行。而在传统数据中心，核心层的崩溃就意味着整个基础设施的瘫痪。

部署集装箱式数据中心的要求

由于集装箱数据中心的优势很大程度上要依赖于其分布式的核心以及管理方式，因此部署集装箱式数据中心架构的重点就是架顶式交换机。架顶式交换机可以创建机架级服务器及存储的管理水平和管理能力，并可以为不同的客户和模块提供必要的灵活性。

集装箱式数据中心的建设有以下几个要求：

分布式核心—集装箱数据中心必须要有一个分布式的核心，所以当提供一个有弹性的无阻塞核心的时候竟可以很容易地以弹性的方式扩展。分布式核心的关键技术是可扩展的L3架构，包括64路ECMP以及或者类似于L2架构的TRILL架构。

开放的标准，开放的生态系统—坚持开放标准是一个集装箱数据中心的基本要求，因为客户需要根据他们的需求来灵活地构建和更换组件。模块化数据中心需要坚持的开放标准包括以太网和光纤通道的特定协议（如EVBEthernetVirtualBridging以太网虚拟桥接技术）以及使用特定模型的TRILL协议。

自我修复和自我管理—模块化数据中心应该包含拥有自动解决故障的组件，例如刀片服务器以及存储阵列。这种局部的故障不应该影响到整个数据中心，而是可以更换部件就可以解决。架顶式交换机就可以很好的处理这个问题。

自我编排—架顶式交换机应该具备将服务器和存储阵列分组，并分配给特定客户的功能。通过拖放界面，远程管理团队就可以为一个或多个客户提供任意数量的虚拟服务器和存储容量。

机械级别的服务—集装箱式的数据中心必须要有分布式的服务，防火墙，负载均衡和网络优化这些服务也是同样如此，这就需要一个拥有应用感知功能的顶级机架交换机，这些功能可以通过架顶式交换机来实现。

5.集装箱数据中心市场展望

集装箱数据中心是一个可作为数据中心构建的标准模块，为企业在短时间内完成数据中心容量的扩展；同时，也可作为单独使用的模块，用于军事项目、政府保密工程、能源勘察、大型活动的户外作业，是应对于企业级数据中心快速、灵活需求的最佳解决方案。当初选择集装箱的大小作为标准，主要考虑了铁路、公路和海上运输的便利性，因为世界上的运输基础设施已经为做到这一点进行了恰如其分的优化。

集装箱式数据中心的确可以满足一些特殊的业务和数据中心选址需求，但是要想对其进行普及，还需要很长一段时间。对于一些工作负载而言，集装箱式数据中心是很好的选择。比如说对于军事应用而言，必须对计算设备进行快速而又灵活的部署。另外，在未来的模块化数据中心单元内，还有一些东西需要改进，包括能耗的降低、电源输出的简化、空调成本和复杂度的降低等。典型的例子为：谷歌已不再对集装箱式数据中心感兴趣，因为他们使用开放式的机架，同时改变了传统的供电方式，使用在服务器末端挂12V的铅酸电池的方法替代了传统的UPS产品，同时使用FreeCooling的方式替代了空调。

集装箱数据中心厂商可以分成以下几类：

第一类是自给自足型的厂商，代表厂商是Google。为了满足应用的需求，Google习惯自己设计和开发服务器、存储系统等。从2005年开始，Google就在数据中心里采用了集装箱式设计，每个集装箱能容纳1160台服务器。Google集装箱数据中心有许多特别之处，比如它不像一般的集装箱数据中心那样配备UPS系统，而是为服务器配备12V的电池。Google的集装箱数据中心主要是自用的，不具备通用性。

第二类厂商是提供通用集装箱数据中心解决方案的IT和网络设备产品供应商。这类厂商很多，包括IBM、HP、SGI、Oracle等，在中国为华为赛门铁克、华为等中国公司。虽然不同厂商提供的产品规格不尽相同，但是基本上都提供标准的40英尺集装箱数据中心。为了满足一些特殊用户的需求，HP等厂商也开始提供20英尺集装箱数据中心方案。这类厂商是集装箱数据中心市场的核心力量，引导着集装箱数据中心相关技术的发展潮流。

第三类厂商是以中金富捷的数普、云立方科技为代表的数据中心服务提供商。便于移动、即插即用的集装箱数据中心对于提供灵活的数据中心外包服务来说是锦上添花

第四类为数据中心基础设施的提供商。