性能提升数倍 IBM光谱计算搞定海量数据处理

xman

　　一直以来，IBM给人呈现出的形象就是高大上的前瞻者，在大数据等方面一直引领着行业发展。近两年IBM还提出了认知商业概念，将企业级计算相关应用推向了高潮。
　　Spectrum  Computing(光谱计算)是IBM刚刚推出的产品，它是一套全新智能资源与工作负载管理软件，能使企业更为轻松地挖掘数据价值，提升性能密集型大数据分析工作负载和机器学习的速度。该技术将为各行各业的客户提供支持，比如通过基因组排序实现更好的癌症治疗、辅助工程师设计出具有夺冠实力的一级方程式赛车、帮助银行家面向潜在客户推出个性化金融服务。
　　IBM整合Platform推出光谱计算

IBM软件定义解决方案大中华区销售经理 周立旸

　　Platform  Computing之前笔者也曾接触过，这是一家技术实力很强的企业，在分布式计算等方面有着较深造诣。当时给人留下深刻印象的案例就是空中客车以及各个证券交易所的分布式系统，非常强大。而在2011年IBM正式收购了Platform  Computing，这些年来将其技术不断融入IBM，使其成为了现在的Spectrum Computing(光谱计算)。
　　谈到光谱计算，IBM软件定义解决方案大中华区销售经理周立旸认为：传统来说，往往计算和存储是分离的，随着新的认知型应用的发展，不仅需要水平扩展，实际上也是应对整个认知商业的大环境。我们不仅要存储、管理海量的数据，让这些数据真正产生价值，还是要对它进行有效应用和分析。在去年发布光谱存储家族软件定义存储的基础上，我们在今天发布Spectrum  Computing，实现软件定义的平台，有助于用户、企业在软件定义存储的基础上通过软件定义计算对海量的非结构化数据进行充分的利用，从而为企业的数字化转型找到更多的价值点，也找到新的应用。
　　Spectrum Computing包含六大产品，提供强大整合管理能力
　　产品方面，据周立旸介绍光谱存储有六大产品，这六大产品可以单独作用，也可以互相结合，Spectrum  Computing目前包含三大产品。一个是LSF，主要针对高性能和批处理应用，高性能计算在国内外很多制造业、电子行业、生命科学领域用的比较多，同样在企业里面也有大量批处理应用。
　　此外还有Symphony，主要针对大数据和高性能分析，一方面完全兼容所有Hadoop的接口，另一方面提供了自己的API，使得高性能分析应用不经过修改、只要经过这个API就可以在一台机器乃至几千台机器上动态地运行。
　　IBM最新发布的光谱计算中还包含全新的Spectrum  Conductor。在应用方面，针对了所有新型的云应用，像现在Spark内存计算方式非常流行，还有新的NoSQL数据库，针对这些云类型的应用，需要有一个工作负载管理的产品。Conductor是可扩展的融合架构，不仅仅是水平扩展的软件定义的组件，它当中整合了软件定义计算和软件定义存储，这包含了分布式文件系统，也包含了怎么样把内部的数据和外部的云数据整合起来进行管理的能力。这也是整个产品家族里面最新的一个产品。
　　未来，随着软件定义计算和软件定义存储的融合，IBM会增加更多的整合方案，推出更多针对水平扩展的软件定义环境的融合架构的产品。
　　软件定义让企业用户更容易实现扩展
　　周立旸认为软件定义已经变得越来越重要。随着企业数据量越来越多，不是单一工具就能够满足它认知商业的所有需要，可能需要各种各样的工具，需要不同的NoSQL的DB，需要内存计算、流计算对实时信息作处理。每一种新型工具都是水平扩展的架构，对任何一个企业来讲都有五个到十个工具，可能对应采用传统的方式就要五个到十个集群。集群本身的管理使用起来比单一系统复杂。随着认知商业、云计算应用的发展，企业内部集群应用越来越多，必然需要一种新型方式，把很多个集群整合成一个，或者把一个云或者一个集群当做很多个集群来用，这正好是软件定义基础架构所解决的问题。
　　据周立旸介绍，IBM也有这样的客户，无论是国内、国外，国外有个金融保险公司，在一个平台上运行了30多种不同的分布式应用，包括开源软件，包括商用的客户行为分析、SPSS应用等。对于用户来讲，这种方式比自己建立很多个不同的集群更好，每个集群随着业务的增长还需要不断地扩展，不同的集群还需要访问下面的数据，这个复杂性的话随着应用的增加而成一个脊柱型的增长，必然最后会采用软件定义的方式来管理所有分布式的应用。
　　科研、金融和电信开始应用光谱计算
　　应用方面，周立旸表示目前光谱计算在金融业、电信应用比较多，电信行业中数据量非常大，要用水平扩展的架构，因此很多用大数据分析的平台也在用光谱计算。生命科学行业，前段时间IBM刚刚办了一个会，请了清华大学国家蛋白质中心代表和大家分享。随着生命科学的发展，它的数据量增加的非常多。清华大学的电子显微镜，大概数据产生速度是一天产生20多TB的数据，所以一定要通过水平扩展的架构。由于清华大学一栋教学楼的空间有限，现在这个集群要分在几个不同的楼层里面来，所以采用了IBM的软件定义方式进行生命科学的分析平台。未来随着认知商业的普及，相信行业覆盖面会越来越多、越来越广。
　　看似高大上的光谱计算目前已经开始应用到各个行业领域，采用软件定义方式，能够把整个集群平均利用率提升到90%甚至更高，有五到六倍效率提升。光谱计算给企业级应用带来了质的飞跃，新技术带来新革命，IBM继续着他的探索之路。