巴蜀网

 找回密码
 免费注册

QQ登录

只需一步,快速开始

开启左侧
查看: 208|回复: 0
 干河沟 发表于: 2023-4-23 01:41:21|显示全部楼层|阅读模式

[2023年] 中国工程院院士郑纬民:随着ChatGPT的发展,算力将迎来高速扩张时代

 [复制链接]
源自:21世纪经济报道
  21世纪经济报道记者白杨 北京报道
  在4月21日召开的“首届超互联新算力产业暨第三届中国IDC行业DISCOVERY大会”上,中国工程院院士郑纬民谈及人工智能产业发展时表示,人工智能(AI)算力是当前人工智能领域发展的关键,也是算力基础设施的重要组成部分,是新基建和国家“东数西算”工程的关键任务抓手。
  郑纬民称,AI计算是近30年才有的,在海量数据、实时响应、极端条件等场景下,AI计算较通用计算优势愈发明显,尤其是随着ChatGPT的发展,算力需求大幅提升,算力也将迎来高速扩张时代。预计到2025年,我国AI算力总量将超过1800EFlops,AI算力占总算力比重超过85%。
  在谈及AI计算与HPC(高性能计算)的区别时,郑纬民指出,HPC通常应用在天气预报、核聚变模拟、飞行器设计等领域,而AI计算是做分类、回归、自然语言处理等,二者应用场合不同,运算精度也不一样。
  “传统的高性能计算机的测试结果与人工智能需要的性能不完全一致。高性能计算算力测试程序主要使用双精度浮点数运算,即64位浮点运算,人工智能训练以单精度浮点数,即32位浮点数为主。”在郑纬民看来,现在要做符合语言模型的训练,就要考虑半精度平衡性,即设计中主要考虑半精度运营性能,又要注意双精度运算能力不能过低,所以双精度与半精度运算性能之比为1:100较好。
  除此之外,郑纬民认为AI计算还需要做到网络平衡设计和IO子系统平衡设计。“现在很多厂家都已经在考虑这三个平衡设计,国内也有差不多30个城市在建或者建好了AI超算中心。”据其预测,HPC+AI+大数据中心在未来不超过5年的时间内将会融合到一台计算机中,“既可以做HPC,又可以做AI,也能处理大数据”。
  另外针对AI大模型,郑纬民提出,ChatGPT出来以后,大家对大模型训练都比较关心。在其看来,参数越多、训练的数据越多、计算机越多、效果就越好,越接近于人脑,这里面是正相关关系,所以探索更大参数模型的效果具有重要科学意义。
  (作者:白杨 编辑:骆一帆)
『 巴蜀网 』提醒,在使用本论坛之前您必须仔细阅读并同意下列条款:
  1. 遵守《全国人大常委会关于维护互联网安全的决定》及中华人民共和国其他各项有关法律法规,并遵守您在会员注册时已同意的《『 巴蜀网 』管理办法》;
  2. 严禁发表危害国家安全、破坏民族团结、破坏国家宗教政策、破坏社会稳定、侮辱、诽谤、教唆、淫秽等内容;
  3. 本帖子由 干河沟 发表,享有版权和著作权(转帖除外),如需转载或引用本帖子中的图片和文字等内容时,必须事前征得 干河沟 的书面同意;
  4. 本帖子由 干河沟 发表,仅代表用户本人所为和观点,与『 巴蜀网 』的立场无关,干河沟 承担一切因您的行为而直接或间接导致的民事或刑事法律责任。
  5. 本帖子由 干河沟 发表,帖子内容(可能)转载自其它媒体,但并不代表『 巴蜀网 』赞同其观点和对其真实性负责。
  6. 本帖子由 干河沟 发表,如违规、或侵犯到任何版权问题,请立即举报,本论坛将及时删除并致歉。
  7. 『 巴蜀网 』管理员和版主有权不事先通知发帖者而删除其所发的帖子。
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

© 2002-2025, 蜀ICP备12031014号, Powered by 5Panda
GMT+8, 2025-4-24 01:22, Processed in 0.452401 second(s), 8 queries, Gzip On, MemCache On
快速回复 返回顶部 返回列表