Titan已经落伍？顶级超算机XC30探秘

前不久，报道过计算性能高达20+ petaflops的“Titan”CPU-GPU混合架构超级计算机。而今，Cray再次推出了计算性能超过100 petaflops、搭载了100万颗Intel Xeon E5-2600核心的超级计算机“XC30”。

这款超级计算机是Cray有史以来最先进、最顶级的高性能计算系统，也是与美国国防部高级研究计划署(Defense Advanced Research Projects Agency，DARPA)共同开发、令人期待已久代号为“Cascade”的超级计算机系统。

这款超级计算机使用了Aries互联技术，这种技术对于大规模和并行计算来说意义重大，也正是如此英特尔在今年四月的时候，就花费1.4亿美元收购了曾经开发出Gemini互联技术的团队和芯片产品，以及与此相关的34项专利。

代号为“Cascade”的超级计算机XC30

正是如此，Cray专属并能使用Gemini和Aries技术，并与英特尔研发设计代号为“Shasta”的通用超级计算机。此次推出的XC30超级计算机，是由Cray和DARPA联手打造，使用了全新的Aries互连(Interconnect)技术，在性能方面轻松超越了之前的世界第一超级电脑Titan，同时也和其它竞争对手(如我国的天河二号)拉开了差距。

Aries互联和Cascade节点

Aries芯片拥有2.17亿个栅极，采用了40nm制程工艺制造。Aries拥有184个SerDes(串并行)通道，提供30个光纤通道、64个PCI-E扩展通道。

XC30系统和刀片

XC30系统采用半宽、全长水平放置的刀片设计，每个刀片的背后都有一个Aries互联通路。Aries芯片连入到机箱底板和刀片上的4个服务器节点。

这些刀片被应用在Cray称之为“processor daughter card”的模块上，所有的CPU都有两个这种processor daughter(2个双插槽节点)，在机箱中紧挨着并

值得一提的是，在XE6超级计算机上，每个刀片需要配备2个Gemini芯片将4个双插槽的皓龙计算节点和Gemini互联进行连接。但在 Aries超级计算机上，借助4个不同的Dragonfly topology，用户只需要为刀片上的4个节点配备1个Aries芯片即可。也就是说，对于Cray可以节省大量的成本。

刚才提到processor daughter cards，这些计算卡上拥有4个至强E5插槽(通过英特尔的C600芯片组成对互联)，每个插槽对应有4个内存通道。

超级计算机XC30组成结构示意图

从图中我们也可以看出，每个Cascade刀片上有4个计算节点，1个机箱中有16个刀片。XC30系统拥有数百个这种机柜并使用了主动光纤网络，而且它们也通过Aries芯片与节点互相连接。顶配的XC30超级计算机系统拥有多达200个机柜——与Jaguar、Titan超级计算机拥有一样的身材，但在每个机柜中拥有比后两者多(2倍)的x86插槽。

另外， 这款超级计算机新增了对英特尔最新推出的至强融核协处理器的支持(也支持英伟达的Tesla K20协处理器)。用户只需要将processor daughter cards的处理器拿掉并替换成新的加速器即可。CPU卡可通过PCI-E来连接加速器，CPU的另一侧则通过PCI-E与Aries相连。

XC30超级计算机散热系统图解

这种设计采用了热插拔的风机(机柜的左侧)和垂直纵向的水冷机组(位于机柜内的右侧)。冷风从数据中心进入到风机，并横向跨过刀片并对其进行降温散热。机柜中的纵向冷水机组会对空气进行降温并回流到数据中心，使得其能够进入到下一组风机并对整排机器进行散热