关闭广告

英伟达H100杀疯了:11分钟训完GPT-3,霸榜8项测试

量子位12029人阅读

明敏 发自 凹非寺
量子位 | 公众号 QbitAI

11分钟内训练一遍GPT-3,8秒训完BERT

这就是英伟达给AI圈的一点“小小震撼”。

在最新MLPerf训练基准测试中,英伟达H100集群,横扫八项测试,全部创下新纪录,并且在大语言模型任务中表现尤为突出!



在大语言模型任务中,H100集群的加速性能逼近线性增长

即随着集群处理器数量增加,加速效果也几乎同比增加。

这意味着在集群内GPU之间的通信效率非常高。



除此之外,H100还完成了推荐算法、CV、医学图像识别以及语音识别等任务,是唯一一个参加8项测试的集群。

而在算力就是生产力的时代下,这波成绩意味着什么,懂得都懂。



据悉,本次测试系统由英伟达和Inflection AI联合开发,在云厂商CoreWeave上托管。

单节点性能增长明显

这次MLPerf Training v3.0中增加了两项新任务:

  • 大语言模型(基于GPT-3)
  • 推荐算法

这意味着测试任务包含了更大的数据集和更先进的模型。



如上刷新各项记录的,是由3584块H100组成的超大集群。

它的具体成绩如下:



这是本轮测试中,英伟达拿出的最大集群。

实际上他们还提交了一个包含768块H100的集群进行测试,并分别在云上和本地部署。

结果显示二者性能几乎完全相同。

更进一步还论证了随着集群中显卡数量的增加,其性能提升可以接近线性增长。



(NVIDIA Pre-Eos为本地部署,NVIDIA+CoreWeave为云上部署)

除此之外,这轮测试中英伟达还刷新了单节点加速记录。

和6个月前MLPef Training v2.1的数据比较,单个DGX H100系统(8块H100组成)在各项任务中平均提速17%。

和A100 Tensor Core GPU相比,最高能提速3.1倍(BERT任务)。



这些加速效果的实现,主要得益于两个方面。

一方面是H100本身就足够强悍

H100基于最新Hopper架构,采用台积电4nm工艺,集成800亿个晶体管,较A100增加了260亿个。

内核数量达到前所未有的16896个,是A100的2.5倍。

由于面向AI计算,H100中专门搭载了Transformer Engine,让大模型训练速度可直接×6

另一方面则是依赖集群内的加速网络。

这里使用的是英伟达Quantum-2 InfiniBand网络,是该网络架构的第七代。

官网介绍,加速网络能够提供软件定义网络、网络内计算、性能隔离、优越加速引擎、RDMA和最快达400Gb/s的安全加速。

据悉,共有90个系统参与最新一轮测试,其中82个使用了英伟达的GPU,英特尔方面有7个系统参与。

英特尔的加速系统使用了64-96 Intel Xeon Platinum 8380处理器和256-389 Intel Habana Gaudi2加速器。

其高配系统完成LLM的训练时间为311分钟。



基于这次报告的测试结果,有分析师表示他感受到的最大震撼不是H100本身的性能,而是在云上训练AI实现的卓越效果。

那么这次和英伟达合作的云厂商CoreWeave是谁?联合开发系统Inflection AI又来者何人?

计算集群还会进一步扩大

首先来看CoreWeave



它成立于2017年,是一家大型云厂商,号称提供业内最快、最灵活的大规模GPU计算资源,提供渲染、机器学习等云上方案,速度比大型公共云快35倍,成本低80%。

而这家云厂商很受科技巨头青睐,英伟达在此之前没少cue过它。

5月,CoreWeave拿下2亿美元融资,主要来自对冲基金Magnetar Capital,B轮总融资额达到4.21亿美元。

6月,有消息称微软与CoreWeave签署AI算力协议,用于计算基础设施,未来数年内的投资金额可能数十亿美元。

英伟达也向CoreWeave投资了1亿美元,4月时它的估值为20亿美元。

另一家AI初创公司Inflection AI由DeepMind创始成员穆斯塔法·苏莱曼(Mustafa Suleyman)等人创立。



这家公司成立于22年3月,已拿下2.25亿美元融资,估值超12亿美元。

公司已经开发出了一个大语言模型Pi,正是在H100集群上训练出来的。

据了解,Pi的定位是帮助人类更好和计算机交互,它能通过聊天内容来逐渐了解用户,然后提供更加个性化的回答,类似于个人智能管家的感觉。

Inflection AI的最新Blog里表示,基于目前的合作,他们计划在未来几个月内进一步扩大底层计算基础设施的规模。

参考链接:
[1]https://blogs.nvidia.com/blog/2023/06/27/generative-ai-debut-mlperf/?continueFlag=685ee2dc8db6455efed731baa85e2741
[2]https://developer.nvidia.com/blog/breaking-mlperf-training-records-with-nvidia-h100-gpus/
[3]https://www.forbes.com/sites/stevemcdowell/2023/06/27/nvidia-h100-dominates-new-mlperf-v30-benchmark-results/?sh=62b226c35e99

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

方寸间也能尽显时尚品味?系条丝巾试试

时装LOFFICIEL杂志 浏览 15284

采用第二代设计语言 领克07 EM-P谍照曝光

车质网 浏览 8820

专家:普里戈任或退出政治舞台 到白俄是自我流放

上观新闻 浏览 12050

突发!*ST雪发公告:实控人张劲失联

经济参考报 浏览 14863

开出“科技之花”结出“产业之果”,这个研讨会聚焦青年创新力

文汇报 浏览 12487

电影《花千骨》官宣定档,陈都灵李程彬领衔主演

网易娱乐 浏览 10276

普京:国家想发展 每家至少生三个孩子

红星新闻 浏览 60244

美欧宣布对俄"毁灭性"制裁 普京作出回应

环球时报国际 浏览 8792

中超-阿齐兹戴帽阿奇姆彭破门+伤退 三镇3-1送深圳四连败

直播吧 浏览 11593

具俊晔穿老年袜骑自行车耍酷 头盔上的数字表白大S

素素娱乐 浏览 12991

克洛普:我不在意阿诺德说的话;瓜迪奥拉是世界上最好的教练

懂球帝 浏览 8625

郭士强:本场对于双方而言都非常重要 是季后赛级别的较量

直播吧 浏览 15305

2023爆火的"鱼骨吊带" 不显胖还时髦

她暖 浏览 12580

北约秘书长回应"能否想象卷入与中国冲突的场景"

环球网资讯 浏览 15012

平地惊雷!詹姆斯罚球线起步滑翔单臂隔扣乔治2+1

直播吧 浏览 8889

央妈再出手!删光Z姓女星内容,此前隐晦斥其文盲!

素素小昕园 浏览 15601

新冠疫苗接种证明能替代核酸报告吗?官方给出了最新解答

趣看热点 浏览 103862

比亚迪:仰望U8豪华版预计8月正式上市,9月开启陆续交付

界面新闻 浏览 11831

时装周明星生图:关晓彤脸白脖子黑,黄圣依驼背

不八卦会死星人 浏览 15744

金正恩向普京致贺电 愿进一步密切朝俄战略合作

环球网资讯 浏览 12559

基金跌了 怎么办?大数据告诉你

上海证券报 浏览 22681
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1