高性能计算的大时代

间隙填充
正睿科技  发布时间:2009-09-08 14:14:57  浏览数:1315
“这是一个最好的时代,也是一个最坏的时代。”狄更斯这句开放性很强的名言适用于所有的话题,比如高性能计算。

  我们现在所处的这个最好的高性能计算时代,拥有计算力强劲的超大机器,拥有备受好评的处理器,拥有庞大的用户群,最主要的是,现在的高性能计算已经拥有了深厚的舆论基础;我们所处的这个最坏的高性能计算时代,还没有找到适合超大机器的应用软件,最主要的是,似乎走进了一个超级计算机“越大越好”的误区??也许,在高性能计算领域,更应该被关注的是具体应用的性能而非“最高性能”。

  一定有人认为这是一个高性能计算发展最好的时代,比如英特尔;也一定有人认为高性能计算的发展存在着误区,比如英特尔。

  英特尔的高性能计算使命

  三年半以前,英特尔重建了服务器平台事业部高性能计算业务,将内部所有和相关高性能计算的资源进行了整合,这些高度集中的资源现在分布在硬件、软件以及平台各个方面。对于英特尔来说,高性能计算的使命是要使得HPC服务于各种不同的应用,换句话说,要让超级计算机能够在科研方面产生成果,以及这个成果能够转化为生产力。

  除了“本质工作”生产处理器之外,英特尔还参与了更多的标准制定以推进HPC平台的发展,比如在高性能计算领域常见的、可增加高性能计算密度的“半宽主板”,他们甚至还生产SSD,在I/O的吞吐方面有显著帮助。

  “软件一定是高性能计算中重中之重的部分,编译器、函数库以及MPI库,目的就是帮助ISV能够在英特尔的处理器上能够把性能充分发挥出来。”不久前来到中国的英特尔服务器平台事业部高性能计算业务总经理Rid Dracott表示。除此之外,英特尔在全球拥有上百人的高性能计算的核心专家资源,对于行业应用特征非常了解,同时支持ISV。

【比特观察】高性能计算的大时代
英特尔服务器平台事业部高性能计算业务总经理Rid Dracott先生

  英特尔丝毫不掩饰对高性能计算的重视??全球五分之一的处理器出货都在HPC市场,相对其它的领域,HPC几乎永远是最快接受最新技术的领域,比如集群的采用,Linux的采用包括对InfiniB的支持。“这一切给英特尔一个机会通过这些HPC用户看到未来的技术往哪个方向走,然后通过HPC去影响更大的计算机市场。” 在接受比特网(Chinabyte)采访时,Rid这样说到。

  Nehalem的表现印证了Rid的说法,上半年超级计算机Top500强里英特尔几乎占据了80%的席位,在整个榜单里有2/3基于四核系统,三月底发布的Nehalem-EP用了两个月的时间就抢占了33个席位,用一位业内专家的话来说,“这真是神奇的表现。”

  抓住ISV

  在英特尔的组织架构里一直都有一个很重要的团队来帮助所有的ISV在最新的平台进行调优,利用英特尔的软件工具,函数库或者调优工具,帮助用户在新的平台上将性能充分发挥。

【比特观察】高性能计算的大时代
英特尔的软件工具

  在美国,这个支持团队达到了70余人,一起来支持两种客户:一是商用高性能计算里重要的商用ISV,另外一种是自己开发代码的超大客户,比如石油或者金融领域的一些客户。在中国这个团队同样存在,与笔者很熟悉的何万青博士就是这个团队的一员。

  任何人在传授经验的同时都希望不仅仅是“授”出去,最重要的是,如何能让这些本地软件厂商学会创新以及解决问题的方法论。英特尔的软件与服务事业部颇为得意的一件事情:不光告诉合作伙伴团队有什么机会,更要教他们怎么做。

  所以才有了一系列计划的诞生:软件合作伙伴计划、软件学院、软件园计划、软件网络等等。在中国英特尔跟4100家本地ISV有合作(不限于HPC)。英特尔的软件套件Parallel Studio在其中起到了很大的作用,上述提到的一些编译器、编程工具、测试工具都包含其中,ISV的工程师们正在帮助扩大Parallel Studio的用户群。

  当越来越多的用户跟我们说“Parallel Studio很易用”从而习惯了在IA平台上工作的时候,英特尔正满意地笑着:想抓住HPC用户,就要抓住ISV。

  要性能还是要应用?

  从英特尔对ISV的重视不难看出他们对应用的重视??强劲的性能固然重要,我们要关注的是如何发掘固定性能的最大潜力以及如何改善应用,话题终于绕回到本文开篇提到的问题。

  Top500如此优异的成绩也没能让英特尔满足,“我不知道怎么样才能使得HPC回归本质??它就是一个工具,这台百万亿次的机器到底在用什么应用程序,用这些资源做了什么成绩。” 英特尔千万亿级产品线架构师David Scoot博士对于超大机器的实际应用效率抱有相当大的怀疑。

【比特观察】高性能计算的大时代
英特尔千万亿级产品线架构师David Scoot博士

  这当然与人们盲目追求漂亮的Linpack值有关。在七月份的高性能计算研讨会上,英特尔(中国)有限公司服务器产品事业部产品经理顾凡就对(Chinabyte)表示过,“Linpack不代表任何问题,它只代表怎么能进Top500,用来看趋势很好。”他也承认,“人们对于Linpack炒作得有点过火了。”

【比特观察】高性能计算的大时代
英特尔(中国)有限公司服务器产品事业部产品经理顾凡先生

  David Scoot博士则是在ChinaGrid年会上开玩笑地表示:“我本人很渴望看到在千万亿次的超级计算机上面运行的真实的应用程序。” 英特尔软件与服务集团中国客户响应团队工程经理何万青干脆直接提出了一种针对应用或者系统环境的测试方案。

【比特观察】高性能计算的大时代
英特尔软件与服务集团中国客户响应团队工程经理

  “气象最能测内存带宽的压力,我们尝试对比主频3.2GHz的至强5482和2.93GHz的至强5570,后者的主频略低,在Linpack的测试中成绩并不占优势,但是由于采用了QPI和集成内存控制器,5570能够提供更大的内存容量和内存带宽,总体应用性能有2-3倍的提升。”最重要的是,这一结果是Linapck测试所无法体现的。

  在ChinaGird的大会上,何万青将HPC的测试为四个不同等级,分别是针对运行特定应用的系统、超算中心、部分运行特殊应用以及标准的系统,针对不同对象的不同需求应当综合几个测试指标来评估系统的性能,而并非简单粗暴的Linpack。“在HPC实际的应用中,Linpack并不是一个绝对正确的Benchmark指标,受制于内存带宽以及应用环境的影响,Linpack并不能真实反映实际的应用情况。”何万青在演讲开篇如此表示,而实际的情况是,Linpack是全球超级计算机Top500和中国Top100唯一的指标。也许这个“硬指标”才导致了一些盲目“追大”的行为。

  关于GPU 也有着类似的争论,Rid的态度是:“如果它在小众的市场获得了成功,为什么不把它放到CPU里去呢?” Rid并不掩饰他对GPU在计算方面的赞赏,但是同时他也表示,GPU在数据传送方面还有很长的路要走。而最重要的是,GPU与CPU归根结底是软件之争,对于GPU来说,开发难度太大、代码转移困难、投资回报率较低等等问题依然存在。看起来都是硬伤,说到底,还是应用太少。

  对于英特尔来说,超级计算机的性能固然重要,但是能够充分利用性能的应用更重要。

  英特尔如何将HPC推广开来

  英特尔与ChinaGrid的合作通常被认为通常被认为“英特尔间接引领了中国教育行业HPC的发展”。

  ChinaGrid是由国家教育部于2002年提出、并获得了科技部大力支持的“十五”211工程公共服务体系建设的重大专项,将网格计算与高性能计算技术融合,通过网格技术,把分布在中国国家教育科研网(CERNET)上和各地高校的海量异构计算资源和信息资源,例如各种高性能计算系统、数据服务器、大型信息检索存储系统以及各类其他专用设备连接起来,实现教育网资源的有效聚合和广泛共享。

  ChinaGrid从2003年1月正式进入建设阶段。到2005年底时,其一期建设任务完成,连通了国内13个省市的20所著名高校,其中12所高校作为最初参建者,都建立了基于高性能计算系统的ChinaGrid主节点。它们还协力开发了核心的ChinaGrid公共支撑平台软件(CGSP),并在其上部署了图像处理网格、生物信息学网格、大学课程在线网格、海量信息处理网格和计算流体力学网格等五类面向教育、科研应用的专业网格及开发环境。

  英特尔及其合作伙伴在ChinaGrid一期建设中为华中科技大学、清华大学、山东大学、北京大学等高校基于当时最先进的英特尔处理器的高性能计算系统。

  其实最大的挑战并非来自硬件,而是人才与软件发展。英特尔特意将网格计算列为“英特尔大学合作计划”在国内的重点合作领域之一,通过研究资助及提供适当的软件平台,直接参与了CGSP平台的开发和改进。ChinaGrid二期开工在即,新建的六个节点毫无疑问会再次成为英特尔的用户。

  在多核时代到来后,英特尔启动了“英特尔多核技术大学合作项目”,以帮助国内高校了解和掌握这一技术,将其导入教学内容和应用于科研环节,并且于2007年赞助“英特尔杯”全国多核程序设计大奖赛,帮助培养多核程序人才。

  而与ChinaGrid的合作只是英特尔众多努力中的一个。

  这是一个IT大佬们心痒难耐的市场,这也是一个话题不断的市场,Rid表示,在高性能计算市场,中国每年的增长率都超过了两位数,理论上来说并没有什么真正的东西可以阻碍在中国HPC增长速度的加快??“高性能计算计算,在全球也好、在中国也好都是高速增长的机会,甚至在今天经济不景气的情况并没有受到太大影响。从英特尔的角度来说,高性能计算非常重要。”