数字中国建设峰会
返回
高文在第六届数字中国建设峰会人工智能分论坛上的主题演讲
中国工程院院士、鹏城实验室主任
发布时间:2024-08-20 11:03 文章来源:峰会组委会秘书处
人工智能与智能算力助力数字经济高效发展
高文
中国工程院院士、鹏城实验室主任

尊敬的各位领导、各位专家。很高兴参加我们这次的绿色人工智能的分论坛。今天跟大家分享的这个题目和前面几位领导致辞的关联很密切了,一个是关于人工智能,一个是关于中国算力网的。

一、介绍背景。

其实刚刚背景已经讲得非常清楚了,人工智能从最开始的元年到现在已经经历了三次浪潮,第三次浪潮主要是基于深度学习为主的这样一个大数据、大算力+算法组合到一起的浪潮。

其实近期大热的Chat GPT,这里面底层就是GPT,就是生成式预训练模型,现在越来越在人工智能发展当中取得了非常关键的作用。当然不仅仅是大模型,算力也很重要,左下角是清华大学和IDC联合编制的一个报告,就是《全球计算力指数评估报告》。现在全球算力规模,美国第一,中国第二,这和经济环境是正相关。按照评估报告,计算力指数平均每提高一个点,数字经济增长是千分之三点五,GDP的增长是千分之一点八,它们是正相关的关系。

算力不仅对经济有关,其实对科学的发展也有关,智能算力或者说AI正在改变着科学创新的模式。2022年热门的蛋白质折叠的预测是结构生物学存在50年的难题,AlphaFold和AlphaFold2这两个软件解决了这个难题,现在有了AI半年或者几个月就可以完成。

但是中国有一个指数是全世界最高的,就是算力发展的增长幅度是全世界最高的,我们差不多是13.5%,美国只有5%。中国大概应该在未来几年在算力规模上就会超过美国,算力发展方面中国还是有非常大的优势。

当然算力发展了以后怎么用,怎么发挥效力,这个其实是摆在我们面前的一个难题。科技部已经在布局中国算力网。现在怎么发展算力网还是有非常多的挑战,原因是我们算力其实是分为三种算力,一个是超算,一个是智能超算,还有一个就是云服务或者云计算。这是三个完全不同类型的算力,这三种算力怎么在一个网上面能够组织起来让大家使用,这个在技术上有很多挑战,这个需要我们迎接挑战的一个难题。2022年是算力消费的一个元年,怎么讲都是有它的根据的。这个元年我希望大家能把它记住,算力网就是希望能做到用户可以随时随地访问的算力资源组织这样一个网络。

二、鹏城实验室。

鹏城实验室在之前也做一些关于智能算力方面的工作,类似中国算力网这样的前期组织工作。鹏城云脑是鹏城实验室的一个大装置,这是一个16位浮点精度的10的18次方/秒运算次数(百亿亿次)的一台机器,或者是一个低级的智算平台,16位浮点精度的,这个平台应该说是到目前为止,国内不管是从规模还是性能,都是最强的一台智能算力平台,它可以支撑理论研究、核心技术研发,甚至智能应用。鹏城云脑在人工智能的计算性能方面也是非常好的,人工智能的计算性能方面有一个AIPerf指标,每年有一次比赛,这台机器也是连续三年获得了第一名。2021年它的得分是19万分,排在第二的只有5万多分,它的性能还是非常高的。

鹏城云脑在图计算性能方面也是非常好的,从2022年11月份开始,这台机器也参加了图计算的搭网。第一次搭网,在图计算的两个赛道上就是深度优先和宽度优先的两个赛道上我们一个得了第一,一个得了第二。

鹏城云脑2从2022年10月份上线以来,到现在应该说整个几乎是满负荷在运行,因为整个这台机器的分配率接近97%,使用率是77%。这台机器我们大概有1/4是自己使用,有3/4是给合作伙伴。

这台机器其实不管是CPU还是NPU用的都是华为的芯片,CPU用的是鲲鹏920,NPU用的是昇腾910。这台机器是一台非常紧耦合的智能超算架构。另外,对于多方数据在一个模型里使用,我们专门也设计了一个数据安全和数据隐私保护的工具叫做防水堡,这是由方滨兴院士牵头做的工具。这个工具就可以做到数据可用不可见,比如说不同厂家或者不同数据到我们这儿训练,这个数据只有他自己看得到,别人是看不到的。

鹏城实验室目前在自然语言处理大模型底座上已经开始在启动,基本上是自己不进入市场,不去做一个Chat GPT等同或者类似的一个东西进入市场去和企业界或者和其他人竞争。我们就是提供一个大模型的底座,收集足够的数据,把这个底座训练得足够好,把这个底座通过开放或者通过和合作伙伴共享的方式提供给社会使用,我们联盟准备在苏州的智博会期间,开放鹏城人工智能大模型底座训练这件事,也希望大家能够关注。

三、中国算力网。

中国算力网是在科技部布局下,我们推动了这样一个项目,愿景就是希望能够像建设电网一样去建设算力网,能够像互联网一样去运营算力网,用户能够像用电一样去使用算力,这是一个愿景。

总体目标,我们希望构建一个自主创新的算力网络技术体系,能够把所有的国家比较重要的包括超算中心、智算中心、数据中心等等这些大型异构算力互联互通,然后构造基础设施,然后提供算力的供给。特别是异构怎么做,异构的数据怎么办,这里需要有很多技术的创新。一个是异构,就是数据中心本身是分散的,结构又是异构的,很多数据中心或者是算力中心都是自制的,怎么把这些东西给它组织起来,这是需要技术上面做很多工作。

中国算力网当然不是从0状态开始启动的,是从2019年就承担了一个国家发改委的课题,把国家发改委支持的一些算力中心、智能算力中心,通过算力网前期的软件把它们组合起来。2022年国家发改委的项目已经完成了,完成的时候已经把20多个异构算力集群组合到一起,汇聚了包括2.3亿16位浮点算力的集合。

在标准化方面,怎么样把这些异构,包括芯片的异构、算力的异构,把不同的东西争取能够尽量弄到一起,标准化就非常重要。我们前期工作主要是针对智能算力,为了把智能算力组合起来,从2021年陆续的整个中国算力网络相关的标准就在逐步推出一共已经有12个部分,到目前为止有的标准已经完成了,有的标准还正在制定过程中。现在鹏城实验室从广州到深圳已经有一个实地的全方网络的互联,今年可能就会探讨100P的全网互联,在某些节点之间,慢慢就可以构建起一条高速路。

希望东数西算所有节点间都通过这种100—200P的超高速的连接,使得节点和节点间的带宽足够宽、延迟最短,算力在传输上的延迟就不会经常被用户质疑。现在用户质疑最多的是,算力放到西部应用在东部,节点间传输距离都是1000公里至2000公里以上,传输的延迟使西部算力节点可能变成一个存储节点,而不是一个算力节点。如果能使得传输延迟尽可能地短,就能缓解这个问题。

从去年7月份开始就在科技部的部署下,开展国家超算互联网工作,规划是到2025年12月份形成总体布局。

四、总结。

由智能算力产生的大模型,是智能时代的重要生产力,建设算力网是算力发展的必然趋势。从电力网建设方式跨到算力网建设,是随着时间推移会自然发生的。鹏城云脑2是我们现在打造的一个算力平台,当然这个算力平台目前对于千亿规模的大模型。我们现在正在规划筹划鹏城云脑3。鹏城云脑3的算力比鹏城2大16倍,原来16天能训练完的东西,到鹏城3一天就训练完了。希望云脑和算力网这两个能够结合起来,对于中国算力网的发展起到很好的支撑作用,也希望大家都关注。

以上就是我分享给大家的内容,谢谢大家。

(以上内容根据嘉宾发言速记整理)

扫一扫在手机上查看当前页面

附件下载