谷歌数据中心供电系统剖析
本文简单介绍了谷歌数据中心的供电架构，有些盲人摸象，泛泛介绍了些内容，很多技术细节还有待进一步充实。但从我们了解的有限知识内，这个架构是对传统数据中心供电架构的颠覆，摒除了传统上依靠UPS等硬件冗余的低效率模式，追求能效无极限。同时还在高效建设、便捷运营以及系统可靠性等方面也有很多亮点。虽然这种完全定制的市电直供架构不一定适合国内数据中心用户，但其低成本、简单、高效的模块化建设思路非常值得国内学习。
2011年中，谷歌公布了其在2010年全年的数据中心耗电情况。根据谷歌提供的数据，这家
互联网公司一年的
电力消耗量高达近23亿千瓦时，比21万个美国家庭一年的用电量加一块儿还要多。据斯坦福大学的Jonathan Koomey 估计，截至2010年底，谷歌共拥有近90万台
服务器，约占全球3%的服务器数量，但只使用全球数据中心1%的电力，目前其部分数据中心的年均PUE约为 1.12左右，显然谷歌数据中心的运作比其他数据中心更为高效。我们知道除了制冷系统外，数据中心的供电系统也是能耗很大的一块，因此有必要研究一下其供电系统，虽然不一定适合中国国情和一般用户，但其理念
和思路却是非常值得借鉴的。
图1是谷歌某个数据中心外部供电照片，由于谷歌的数据中心体量通常都很大，比如达到30-40M以上的用电，因此往往机房周边专门区域建设有专用的变电站给庞大的机房供电。
.jpg)
由于篇幅有限，变电站及中压部分就不再展开，但其总体思路是采用中压配电输送到机房周边，靠近负载就近经变压器降压成低压，再通过低压母线输电到机房内的IT机柜上。从图1我们可以看到模块化的户外型变压器及低压配电柜环绕机房周边，采用集装箱型的柴油发电机组作为变配电的供电投切备份，柴发风管直立到屋顶上排风。经过变压器变压后的市电通过母线槽或者线缆直连到机房内的机柜上方，直接给自带分布式UPS的服务器供电。
.jpg)
图2则是谷歌数据中心内部的俯视图，从这个照片我们可以看到市电经前面描述的室外变压器降压后直接通过母线槽的方式架设在每排机柜顶部，再用机柜顶部的配线盒连接到每个机柜PDU，具体细节我们后面会介绍。由于谷歌定制的服务器上自带有分布式小UPS，因此谷歌的数据中心内部不再有UPS室和电池室等，也没有列头柜等二次配电环节，每个服务器直接采用市电直供技术，达到接近99.9%的供电效率。如图3(a)所示的每个机柜直接从机柜顶部母线槽上安装的配线盒取电，这种供电架构非常简单清爽，大大减少了线缆的采购和工程施工，而且非常灵活便于机柜扩充和带电检修维护等，运营起来也非常简单，还可以根据机柜的功率和用电可靠性情况灵活调整配线盒来满足不同设备的供电需求。此外，变压器、中低压以及柴发供电外置，且无集中UPS和电池等，机房内的空间利用率也非常高。
.jpg)
如图3(b)所示谷歌的带小UPS的市电直供服务器大家都应该非常了解了，这里不再详述，只简做要介绍。其原理是在服务器内安装底部的12V黑色铅酸电池用于市电停电保护，市电正常时候，由于没有外部UPS，市电直接给服务器供电，达到99.9%的供电效率;当市电停电后，直接挂接在12V输出上的电池短时放电，直至室外的柴发启动恢复服务器电源带载。电池参与放电的时间基本不到一两分钟，因此电池的容量很小，大约只有3.2Ah，备电时间远远小于传统数据中心15到30分钟的电池备电需求，因此对柴发的启动要求很高。
我们前面知道谷歌的柴发是模块化直接安装在变压器旁边的，很有可能是低压柴发，其启动很快。而且每台柴发对应一个变压器，没有复杂的柴发并机以及启动时序等问题，因此正常情况下柴发启动时间可以控制在十几秒以内，一两分钟的电池备电时间基本上是够了，但这对运维水平要求就非常高了。当然谷歌的
软件架构和业务备份方面也足够强壮，甚至部分设备停电也不会影响到业务正常运行，因此只有强大的技术实力才可以采用这种供电架构。
图4是谷歌三联柜102a-c的正视图，以及顶部配电系统100，后者不仅给三联柜服务器供电，还给相关的空调等支撑设备供电，比如机柜顶部的风扇等。三联柜底部装有滚轮105，用于支撑机柜，并且方便现场运营人员灵活搬运，每个机柜高度约为30个导轨，估计每个设备高度约1.5U，总计高度45U左右，整个三联柜总共有90个设备安装空间。这种设计使得整个三联柜不会太高，无需凳子或者梯子等来协助。三联柜横向宽度方面也不会太宽，叉车等工具可以简易搬迁，甚至现场安装人员可以徒手在数据中心内很容易搬动到需要的地方。
空气循环单元107会被安装在背靠背的两组三联柜之间，该单元包含两组三联柜之间的锁固框架，以及一到两个的空调盘管，还有热通道顶部的一些风扇等。三联柜排出的热空气可以进入框架内，然后被空调盘管制冷，最后从顶部的风扇被吹回整个机房冷环境中。空气循环单元107的框架上还架设有支撑架108，支撑架 108用于安装线槽110和112等，分别用于布设供电线缆和光纤或铜缆等。空气循环单元上还有一些网线等，用于控制风扇的转速，并将收集到的压力、温度、设备故障信息等送回到机房监控中。
三联柜顶部的配电系统100则包括 IT机柜供电的配线盒116，该配线盒向上可通过118接入口从一根或者两根供电母排上获得电力，向下则通过配电空开122以及线缆120等给102a- c的三联柜每个机柜分别供电。比如每个机柜有三根线120到机柜PDU，那么122配电空开就总共有9个微断连接到9条输出线缆120上，或者3个3P的空开。
由于三联柜通常都是工厂预制并安装好TOR的整机柜，当三联柜被滚动安装锁固在空气循环框架107后，就可以直接从线槽110或者112上连接上联光纤。然后供电的配线盒116向上则从供电母线取电，向下则给三联柜机柜的 PDU供电。最后等所有的线缆都连接好并带电后，三联柜内的服务器上电开始加载系统开始工作。如前面所述，每个机柜有30个导轨安装30台服务器，每个机柜采用三相空开，每相空开带载10台设备，每组三联柜共有9路输出空开，如果任何部分发生故障，那么最多也只会影响到1/9的设备，在保证人身安全的同时，尽量缩小故障影响面。
.jpg)
责编：王珂玥
微信扫一扫实时了解行业动态
著作权声明：kaiyun体育官方人口 文章著作权分属kaiyun体育官方人口 、网友和合作伙伴，部分非原创文章作者信息可能有所缺失，如需补充或修改请与我们联系，工作人员会在1个工作日内配合处理。
|
最新专题
推荐圈子
|
DB2数据的导入(Import)_导出(Expo..
Cognos 中国社区——Cognos 10.2...|
|
