IBM“Blue Waters”将成节能数据中心的标准

一个月前，IBM和伊利诺斯大学开始建设最终将容纳基于Power7处理器的“Blue Waters”大型并行超级计算机的数据中心。这个数据中心的设计就像处理器和服务器的设计一样复杂。

在最近得克萨斯州奥斯汀举行的SC2008超级计算机会议的讨论中，有人称，不久的将来，电力公司就会向与它签署长期供电合同的政府机构或者企业赠送超级计算机。这是一个玩笑。但是，它提出了一个鲜明的观点，电源和冷却是超级计算机伸缩性的主要制约因素。自从1976年Cray-1超级计算机问世以来，情况一直是如此。

西北太平洋国家实验室的一位研究人员Stephen Elbert解释说，有许多数据中心的耗电量已经达到了60至70百万瓦。有些数据中心的耗电量甚至突破了100百万瓦大关。超过这个限度，你必须要成为你自己的发电厂或者与一个发电厂签署合同，就像谷歌在俄勒冈州达拉斯的数据中心与Bonneville电力管理公司签署合同一样。

据IBM首席Unix硬件设计师和“Blue Waters”项目负责人Ed Seminaro说，数据中心面临的最大问题是数据中心本身的效率不足。IBM在将容纳“Blue Waters”超级计算机的数据中心中使用的许多技巧也许都值得其它计算设施和服务器厂商参考。

根据Seminaro对典型的超级计算机数据中心的计算，一个耗电量300瓦的设备在数据中心运行需要有800瓦的输入电源。他说，这个效率是很可怕的。在一台耗电量为300瓦的服务器需要的800瓦输入电源中，数据中心电源转换硬件(包括不间断电源和交流配电设备)需要消耗160瓦电源，冷却塔、冷却器、蒸发器和鼓风机等设备要消耗140瓦电源。设备内部的冷却设备再消耗50瓦电源。电源本身将消耗这800瓦输入电源中的150瓦电源。运行一台服务器实际需要这台服务器耗电量的2.67倍的电源。在每秒几千万亿次浮点运算的性能水平上，这种没有效率的情况是非常昂贵的。

这是伊利诺斯大学和“Blue Waters”设计为什么会成为基于Power处理器的高性能服务器在未来几年的标准的原因，就像劳伦斯-利弗莫尔国家实验室10年来一直是IBM ASCI Purple和BlueGene/L超级计算的标准一样。

IBM一直没有明确介绍“Blue Waters”的设计。这种超级计算机要使用大约20万个Power7处理器内核创建一个每秒几千万亿次浮点运算的超级计算机。在今年7月宣布“Blue Waters”计划的时候，IBM称，Power7芯片将采用45纳米工艺制造，并且将采用多个内核，也就是两个以上的内核。但是，IBM Power Systems部门的总经理Ross Mauri证实称，Power7处理器将配置8个内核。

据伊利诺斯大学的国家超级计算机应用中心早些时候演示显示，“Blue Eaters”超级计算机将配置800TB的主内存(每个SMP节电至少有32GB主内存)。最初的目标是外部带宽每秒100GB，最终将增加四倍，达到每秒400GB。

“Blue Waters”内部结构

据Seminaro说，“Blue Waters”超级计算机的占地面积是大约10万平方英尺，包括162个服务器机架。这些服务器机架分为三组，每组6排服务器机架，每一排是9个服务器机架。“Blue Waters”使用的Power服务器将采用当前的Power 575服务器。这种服务器在一个2U机箱中配置了16个双核Power 6处理器。这种服务器值得注意的是它在处理器和主内存电路上配置了水冷模块，直接连接到数据中心的水冷却系统，完全不需要依靠风扇进行冷却。(顺便说一下，这种2U服务器是24英寸宽，而不是标准的19英寸宽)。

IBM没有提供这种未来的Power7服务器的技术规格。但是，IBM似乎将在一个2U机箱中安装64个内核。这就是要在一个陶瓷封装中安装2个Power7芯片并且共享一个插座，线路板上有四个插座。这个内核数量是目前Power 575服务器内核数量的四倍，插座数量是1.5倍。这种2U服务器性能可达到每秒2千万亿次浮点运算，最多支持128GB内存。

每个2U机箱安装64个Power7内核达到每秒2千万亿次浮点运算的性能比当前的只配置16个内核的Power 575服务器的每秒6020亿次浮点运算的性能高出很多。采用4GHz的内核和每个机箱64个内核的配置，如果IBM能够在一个机架中放入21台服务器，“Blue Waters”的性能可以达到每秒6.8千万亿次浮点运算。

熟悉“Blue Waters”项目的人今年7月暗示说，Power7芯片的时钟速度很可能在3GHz至4GHz的范围内，而不是El Reg网站原来报道的4GHz的速度。他们还说，最初的Power7芯片将在2009年秋季和2010年春季期间用于“Blue Waters”超级计算机中，而不是在2011年。因此，由于时钟速度较慢，比如3GHz，这个超级计算机的性能只能达到大约每秒5千万亿次浮点运算。

正如代号为“Hydro Cluster”的Power 575服务器一样，“Blue Waters”超级计算机将让冷却水从大楼里直接流入到服务器。这种服务器不采用外部交换机，而是集成了InfiniBand交换机用于服务器之间的相互连接和连接到存储设备。“Blue Waters”数据中心还将没有房间级的空调，它将使用华氏60度的水。这足以冷却服务器机架并且用水冷却设备节省能源账单。

IBM还把1.3万伏交流电源降低到480伏交流电源直接供给服务器。IBM本来可以用分布式直流电源直接给服务器供电。但是，国家超级计算技术应用中心不愿意这样做。这没有关系。因为Power7服务器有一个从200至480伏的交流电电源或者从400至600伏的直流电电源。这就意味着用户可以改变配电方式，而不需要改变服务器内部的任何东西。

“Blue Waters”数据中心还将利用空气节能器。空气节能器是高性能计算行业的一个词汇，是指利用外部空气对设备进行冷却。这种事情可以在温带地区做，伊利诺斯州在一年中肯定有几个月时间可以使用这种方法。这个数据中心按照设计的输入电源是17.6百万瓦，支持大约15百万瓦的IT工作量。

Seminaro说，IBM预计这个数据中心的配电效率将达到大约98%，根据一年中的时间不同，冷却基础设施的运行效率可达到80%至93%。由于空气节能器的应用，在天气较冷的时候效率会更高。

IBM预计使用“Blue Waters”超级计算机的数据中心的效率将达到大约85%。因此，在这个数据中心使用一台耗电量为300瓦的设备只需要输入大约350瓦的电源。这是一个非常大的进步。