↑ 点击上方“睿午参”关注我们
作者:中国信息通信研究院数据研究中心译
这份idc的报告总结了在未来五年内,在世界领先的超级计算机网站上,正在进行的一些领先级超级计算机的开发进展和计划。从本质上讲,这是一次尝试,试图通过有关技术信息及技术性前瞻学习,获取从今天到2020年,甚至更远的未来,超级计算机一些最重要的发展细节。
在2016年至2020年期间,有很多领先级个人计算机处于规划和发展阶段。除了日本之外,很多主要的高性能计算(hpc)供应商,以及包括中国、欧盟和美国在内的许多地区也在发展超级计算机系统。
这些系统中的大多数都属于准百亿亿次(pre-exascale)设计:系统将为开发硬件和软件所必需的大部分技术提供支持,以支持在2020年至2022年期间计划的大量的百亿亿次(exascale)系统。
因此,未来4年计划的大部分系统的目标是达到10到300万亿次浮点计算之间的峰值性能,大部分的低端系统将在今年或明年完成,而更高性能的系统目标是在2020年之前完成。
1. 正在研发许多不同的体系结构
对一个exascale系统有许多不同的体系结构设计路径。
一些项目正在寻求与商业供应商合作,比如克雷公司(cray)或ibm,以帮助他们开发一个领先级系统,这个系统与他们的商业伙伴的整体产品供应保持一致,比如ncar的cheyenne sgi系统。
其他一些公司,如中国的nudt 天河2号,基本上是在寻求量身定做的系统,这种系统最终生产的数量很可能非常有限,主要用于中国市场,并且几乎没有最终商业化的预期。
此外,很明显,对于这些准exascale系统,还没有达成一致的体系结构方案。
2. gpu和加速器将会出现在许多特殊目的的系统中
但是,在大多数情况下,这些设计与使用单一处理器类型的设计相比,通用性较差。世界各地的许多大型站点都在进行研究,以确定哪种代码最适合哪种类型的体系结构。对于大多数通用的环境,使用标准的通用cpu为不同的研究人员提供了最广泛的解决方案。大多数的gpu的系统对于特定的代码类型是有用的,但是会产生更多的特殊目的设计。
3.电力消耗是面临的主要问题
对电力消耗和相关效率的担忧使总功率需求保持在30兆瓦以下。
此外,许多设计师都在寻找更好的方法来更好地控制他们的系统的实时耗电使用情况,他们使用先进的技术,在系统不需要使用,甚至有时是在工作的特定环节的时候,关闭系统的耗电部分。
4. 大多数人并不只关注峰值性能
idc的分析师们估计,pre-exascale系统的设计师、开发人员和用户通常不只关心他们的新系统的理论峰值计算性能。
相反,idc分析师指出,目前越来越强调新系统提供持续性能表现的能力,这种能力需要捕获系统的整体计算能力、内存、互联情况和存储基础设施,来执行一个端到端任务,而峰值计算性能只是强调纯粹的计算能力。
5. 开发和建造这些exascale系统的预算范围很广
pre-exascale设计的预算从2500万美元到2.5亿多美元不等。
一些最昂贵的pre-exascale系统,如技术最先进的一次性系统,预计将耗资2.5亿美元或更多。这些系统代表了一些世界最先进的hpc开发项目,包括重大的不可恢复工程(nre)成本。
其他一些公司,主要是那些业绩稍微落后的公司,一般来说,他们的预算都要少一些。许多这些系统的nre需求没有那么强,相反,它们主要依赖于供应商合作伙伴提供的硬件和软件技术。
6.实现易用性需要进行大量投资
idc的分析师们估计,大多数情况下,开发中的领先的超级计算机已经考虑到为了实现最佳操作而需要的基本易用性。
这并不奇怪,因为这种系统的成本越来越高,重要的预先规划和设计人员/用户的协作不仅仅在特定的项目中,更常见的是跨项目,其中一些超越了官僚政治和国界。
7. 令人兴奋的新硬件发展趋势
这项研究中出现的值得注意的硬件趋势包括:
在不同的系统中,有大量的pre-exascale处理器和相关的gpu加速器被考虑在内。
pre-exascale设计的总体趋势是更多的内存、更多的固态硬盘(ssd),以及使用额外的内存加速器,如突发缓冲区或高带宽的内存包,以应对日益增长的更高带宽和更低延迟的内存系统的需求。
对于大多数即将交付的系统,设计师们选择了infiniband,intel omnipath,或者在一些情况下,使用一个定制的内部互连方案。
领先级超级计算机的设计有总体的存储需求,要在未来的几年里很好地升级到100pb级别。
8. 有趣的新软件发展趋势
这项研究中值得注意的新软件发展趋势包括:
linux,以及其多个变种,已经成为大多数领先级超级计算机的主要操作系统,idc的分析家们估计至少在未来的5年里都将会是这样。
lustre和gpfs会继续成为领先级超级计算机的主要文件系统软件,至少在未来的5年里都将会是如此。
idc分析师预计,在未来几年,非传统的hpc软件将会变得越来越重要。如围绕hadoop / apache spark(或其他替代)生态系统的大数据基础设施和docker这样的虚拟化构建方案。
9. 开发这些系统的伙伴关系
对大多数领先级超级计算机的主要研发计划和合作关系的分析后,提出了一些值得注意的关键见解。
一些机构,例如美国能源部等,正在寻求不仅满足自己近期的计算要求,而且还在致力于为计划在2020年到2022年时间框架内完成的exascale系统提供硬件和软件基础。
其他的目标更多的是针对短期的计算需求,这些需求不包括nre资金的任何重大承诺,比如瑞士的piz diant,它希望与一个商业供应商(cray)合作,以满足其与传统高性能计算架构相比不那么强烈的计算需求。
最后,有一些主要是作为研究系统,开发的数量有限,更多的是作为高性能的研究机器而不是生产系统。
伙伴关系正成为领先级hpc开发的一个基本要素。在idc研究的项目中,有广泛的合作伙伴类型。
有些类似于美国能源部的coral项目,他们希望利用与合作伙伴结合的hpc硬件和软件专业知识,在仍然满足每个组织的特定任务要求的情况下,研究许多可替代的hpc技术。
而其他的合作伙伴关系则相反,他们会在多个网站上提供一个合理化的开发和研究项目,以确保一系列的设计方案以系统化的方式进行探索。
同样,几乎所有主要的领先级项目都涉及到与一个或多个商业供应商的合作伙伴关系,无论是在组件、系统还是软件层面。这样的伙伴关系可以给双方带来巨大的利益。
采购实验室能够帮助设计和购买技术,与一些世界领先的高性能供应商合作,这些供应商的技术可能永远无法在商业市场上得到,与此同时,供应商从与一些在hpc设计中最先进的智库的直接合作中获益,帮助他们更好地开发技术,这些技术可以在更广泛的产品线中被用于商业领域。
10. 许多国家项目已经发展起来支持这些努力
研究中大量的领先级超级计算机考察让我们明白,有许多国家项目计划已经到位,而且不仅是为了构建pre-exascale系统,以满足许多今天最强烈研究需求,同时也发展2020年及以后持续的exascale系统所需的硬件和软件。
研究表明,尽管没有出现一个单一的技术主导计划,但几乎可以肯定,全球范围内进行广泛的创新和前瞻性的努力,可以确保向更有能力、更强大的领先级超级计算机推进的成功。
然而,idc的分析师们强调,对于几乎所有正在进行的hpc开发项目来说,每个企业内部当前的努力都只是他们在hpc开发和使用的漫长历史中的最新进展。
一个领先级的超级计算机用户设备必须不断地参与新系统的开发,否则就有可能落后于那些定期地获取和使用领先级hpc的人。
对于想要维持世界级的基于hpc研究能力的机构来说,错过任何一代的hpc发展都会带来相当大的困难,代价十分严重。
最后,一次又一次,成功的国家领先级超级计算机设备在推动hpc开发方面发挥了重要的作用,在硬件和软件方面的新能力被广泛应用于科学、工程和工业领域。
与此同时,这些项目为国内的hpc供应商生态系统提供了重要的支持,使其保持在全球技术发展的最前沿。
idc相信,那些无法为这些未来的领先级超级计算机提供资金支持的国家,在科学创新方面落后于其他高度发达的国家,而这将给它们的国家经济带来更大的负面影响。
11. 不同国家exascale计划和能力的优缺点
美国有多个项目、强大的资金支持和许多hpc供应商,但必须应对不断变化的联邦政府支持、重大的遗留技术负担以及日益严峻的hpc劳动力短缺问题。
欧洲有强大的软件项目和一些硬件努力,加上资金和支持在增长,前景似乎很光明,但他们必须与28个不同的国家打交道,投资群体薄弱。
中国已经有了大量的资金支持,安装了许多非常大的系统,并正在开发自己的核心技术,但是拥有的用户群较小,有许多不同的定制系统,并且目前的超级计算机系统使用率低。
关键图表
表1 本研究评估的超级计算机
表30 exascale供应商评估:中国
【订阅提示】
此专栏现订阅价格为: 29.9元
本专栏订阅周期为一年
专栏更新周期为半月
订阅之后,如何随时观看内容?
点击最上方睿午参,关注我们
本专栏是在《智库观察》深入分析研究内容的基础上由资深研究员提供的简读部分
《智库观察之简读版》--小额付费,实现高价值
让更多人熟知《智库观察》
想看更多 内容
想看更多 内容点击下方“阅读原文”查看。