存储之于大数据分析

实时分析应用通常会运行在例如NoSQL之类的数据库上，通常都能支持海量可扩展的商用硬件上。Hadoop,从另一角度考虑，非常适合批量的数据处理，这种技术非常合适于异步大数据分析。由于在很多场合下，存储本身会成为延时问题的瓶颈，那么固态存储设备对于实时数据分析是很有帮助的。闪存存储可以以多种形式进行部署：作为传统存储磁盘阵列的一层，以NAS系统的方式，再或者以应用服务器本身的方式都可以实现。

这种服务器端的闪存实施方式广受用户欢迎，之所以这样是由于它能够实现最低程度的延时(因该方式下的存储最为接近CPU)，并且提供了很灵活的容量选择，几百GB容量就可以实现。SAS/SATA接口的固态硬盘本身就是个选择，但是近来我们看到PCIe板卡为接口的固态设备逐渐成了性能应用(比如实时分析)的标准，因为相对于前者，其延时更低。

如今，业界有许多提供PCIe闪存存储的公司，包括Fusion-io、LSI、Micron Technology、SanDisk、sTec(现在是HGST的一部分，作为Western Digital的一个部门)、Violin Memory以及Virident (也被Western Digital收购)。其它所有主流服务器及存储厂商们也都提供PCIe解决方案，大多数是与这些公司通过了OEM协议。

尽管PCIe卡最大容量已经近乎于10 TB,但仍无法满足用户的需求，因此一个共享的存储资源池也是需要考虑的。一个解决方案是使用Virident的FlashMAX Connect software,这种软件可以实现将PCIe卡的资源通过服务器上的InfiniBand,进行资源池化。

这对扩展闪存容量会非常有帮助，尤其是对于那些PCIe插槽不足的服务器或者需要使用VMware vSphere的Storage vMotion功能的时候。通过在不同服务器之间实现闪存的池化，这些解决方案可以提供冗余以及高可用性方面的支持。

另外一个选择是通过InfiniBand、光纤通道或者甚至PCIe的连接方式使用全闪存阵列。全闪存阵列的容量从10 TB到100 TB之间，可以以模块的方式进行扩容。以全闪存阵列这类的高端解决方案可以提供至少100万IOPS,相对应到百万微秒级别。大多数主流的存储厂商都有相应的全闪存阵列类别，除了IBM对Texas Memory的收购，小厂商都有类似的产品并提供了更多的选择，他们中有Kaminario、Nimbus Data Systems、Pure Storage、Tegile、即将被思科收购的Whiptail以及Violin Memory.

微信扫一扫实时了解行业动态

微信扫一扫分享本文给好友