云计算如何测“benchmark”？

笔记本、服务器甚至是手机，只要有新的产品发布，就会伴随着一个又一个的基准测试性能指标对比。Benchmark（基准测试）这个英文单词也已经被越来越多的人熟识。但是云计算出来后，怎么就没有一个Benchmark了呢？用现有的CPU基准测试工具不能对云计算系统进行测试吗？

一直让人看不清的“云”

经常有人宣传，云计算将让计算资源变得和自来水、电一样，只需要插上插头、打开开关就可以随意使用。从而像爱迪生发明灯泡一样再次改变我们的生活。这句话是否有夸大的成份，不能确定，但是从下面这两张人们用手机拍照的照片可以看出，云已经将我们的生活改变了……

自拍后将图片通过社交媒体发布背后需要什么样的云计算技术进行支持，并不是本次要分析的重点。这里想讨论的是，这个与人们工作、生活越来越息息相关的“云”要怎么去评估？

在一个公有云上，用户选择的2核、4核、8核虚拟服务器到底可以提供什么样的计算能力？云计算的弹性可扩展到底能自如扩展到什么程度？用户来购置一套超融合设备到底可以承担多高的应用负载？

上述疑问还没人可以说的清楚，回答往往是“您可以在现实的网络环境中去试，有问题提交给我们再帮您解决……”

表面上看确实没有什么问题，云本来就是可以弹性扩展的，运算资源不足加vCPU，加内存，存储不够就加存储，网络不足加带宽，计算、存储、网络都可以随着应用需求来自由调节。

而实际情况是这样的吗？

虚拟服务器的处理性能与真实服务器比较会有多大区别？

云计算系统可以承载的最大虚机数量是多少？

最多可以承受多少用户的同时请求？

不清楚这些数据，真等现网出现故障的时候，能及时把问题解决吗？当用户体验受损导致客户流失后还可以再重新挽回吗？挽回损失所花费的代价会有多少？

云计算距离用户越近，为什么用户反而越无法看清？

盲人摸象——云计算评估的痛点

用传统的CPU测试工具是否可以对云计算虚拟系统进行评估？为什么长期没有一个针对云计算测试的Benchmark出台？

这个问题可能用两个字就可以回答——规模。

“云”是一个包含着网络、计算、存储的庞大而又复杂的系统。在网络方面，倒是有一些专用测试仪表和专业测试工具可以对网络层和应用层网络性能进行测试。但是在计算和存储方面，当前的服务器和存储测试软件，往往还是基于单点处理性能进行评估。难以对大规模分布式计算、存储系统进行评估。

仅仅利用传统计算或存储测试方法对云计算的少量节点进行测试，永远是盲人摸象，得到的结果也只能是似是而非。即便是获得了某个虚拟服务器或某个存储节点的测试性能数据，但这并不能表明在大规模虚拟化应用时，依然会有这样的应用性能体现。

同样，由于云计算大规模应用测试平台的匮乏，也在极大的制约着云计算技术的正常发展。当前云计算产品技术突飞猛进，新硬件、新版本层出不穷。可是没有一个可靠的云计算测试手段对其进行评估的话，谁又能保证这些新产品是否真的稳定可用？

这不，刚看到前两天某某云华东地区部分ECS服务器又（为什么要说又）出现TOP级故障问题。那没出问题的是不是就真的可靠呢，也未必，很有可能是使用的用户还少……

像照片上这种超高密度花样翻新的计算、存储产品，真的可以保障在大规模应用中不出问题？有什么数据可以进行证明吗？

SPEC Cloud_IaaS 好菜不怕晚

如果问测试CPU最权威的工具是哪个，肯定有人会回答是SPEC CPU。如今SPEC又面向云计算服务提供商、云计算软、硬件厂商和云计算学术研究人员，推出了全球首个测试基础设施即服务（IaaS）性能的Benchmark工具——SPEC Cloud_IaaS。

SPEC Cloud_IaaS可以模拟多种I/O和CPU密集型云计算工作负载，模拟标准社交媒体NoSol数据库应用场景，对云计算软、硬件产品的多种性能指标进行基准测试。协助用户更加全向的对云计算产品进行深入了解。同时也可以协助云计算厂商，对自身产品进行完善，尽量减少现实运营过程中，云计算系统故障的发生。

10月27日-28日SPEC亚洲峰会（暨全球计算机系统标准性能评估组织2016年度技术峰会）将在北京召开，届时SPEC组织的核心成员，包括SPEC总裁Walter Bays、SPECpower委员会主席Klaus-Dieter Lange将亲临大会现场与中国用户交流。同时还将有更全面的SPEC Cloud_IaaS测试方法对外公开发布。欢迎对此感兴趣的同仁踊跃参与。