今日(3月19日)凌晨,黄仁勋正式推出了新一代Blackwell GPU架构,以及基于此的B100/B200 GPU芯片、GB200超级芯片、DGX超级计算机,再次掀起了“战术风暴”。核弹”迈上新台阶。蔑视世间。
Blackwell B200 GPU首次采用chiplet裸片封装,包括两个B100,B200通过第五代NVLink 5总线互连,带宽翻倍至1.8TB/s,最多可连接576个块。
B100采用特别定制的台积电4NP工艺(H100/RTX 40 4N工艺的增强版)制造,达到了光刻极限尺寸的两倍。它们通过10TB/s带宽的片间互连带宽相互连接,形成统一的B200 GPU。
B100集成了高达1040亿个晶体管,比上一代H100的800亿个足足增加了30%。 B200 总共拥有2080 亿个晶体管。核心面积尚未公布,但考虑到工艺限制,应该不会比814平方毫米的H100大很多。 CUDA核心数量没有提及,但肯定会超过H100的16896。不知道能不能超过20000?
每个B100连接4个24GB HBM3E显存/显存,等效频率8GHz,位宽4096-bit,带宽4TB/s。由此,B200拥有高达192GB的HBM3E,总位宽为8096位,总带宽为8TB/s,分别是H100的1.4倍、58%、1.4倍。
性能方面,B200新增支持FP4 Tensor数据格式,性能达到9PFlops(每秒9万亿次)。 INT/FP8、FP16、TF32 Tensor 性能分别达到4.5、2.25、1.1PFlops,分别提升了1.2 倍、1.3 倍。1.3倍,但是FP64 Tensor的性能下降了40%(依赖GB200),而FP32和FP64 Vector的性能尚未公布。
Blackwell GPU还支持第二代Transformer引擎,支持全新微张量缩放,并搭配TensorRT-LLM和NeMo Megatron框架中先进的动态范围管理算法,实现全新4位浮点AI下的计算能力和效率推理能力。模型尺寸的两倍。
其他还包括RAS可靠性专用引擎、安全AI、解压引擎等。功耗方面,B100控制在700W,与上一代H100完全相同,而B200首次达到1000W。 NVIDIA声称Blackwell GPU可以在10万亿参数的大型模型上实现AI训练和实时大型语言模型推理。
GB200 Grace Blackwell是继Grace Hopper之后的新一代超级芯片(Superchip)。从单GPU+单CPU升级为两GPU+CPU。 GPU部分为B200,CPU部分与Grace保持一致。它们通过900GB/s 的带宽实现超低功耗的芯片间互连。
在大型语言模型推理工作负载方面,GB200超级芯片的性能较H100提升高达30倍。不过,价格也很高。 GB200的功耗可达2700W。可以采用单独冷却,更推荐液冷。
基于GB200超级芯片,NVIDIA打造了新一代AI超级计算机“DGX SuperPOD”,配备了36颗超级芯片,其中包括36颗Grace CPU和72颗B200 GPU,它们通过NVLink 5相互组合,以及尽可能多的超级芯片。为240TB HBM3E。
这款AI超级计算机可以处理数万亿参数的大型模型,确保超大规模生成式AI训练和推理工作负载的持续运行,在FP4精度下性能高达11.5EFlops(每秒1150亿次)。
DGX SuperPOD 的扩展性也极其出色,通过Quantum-X800 InfiniBand 网络连接可扩展至数万个GB200 超级芯片,并添加BlueField-3 DPU 数据处理单元,每个GPU 可获得1.8TB/s 的高带宽。
第四代可扩展分层聚合和协议(SHARP)技术可提供14.4TFlops的网络计算能力,比上一代提高4倍。
此外,NVIDIA还发布了第六代通用AI超级计算平台“DGX B200”,该平台包括2颗Intel第五代Xeon处理器、8颗B200 GPU、1.4TB HBM3E、64TB/s带宽、144PFlops的FP4精度性能(每140亿次/秒),万亿参数模型实时推理速度提升15倍。
DGX B200系统还集成了八个NVIDIA ConnectX-7网卡和两个BlueField-3 DPU高性能网络。每个连接带宽高达400Gb/s。可通过Quantum-2 InfiniBand 和Spectrum?-X 以太网网络平台扩展支持。更高的人工智能性能。
基于Blackwell GPU的产品将于今年晚些时候推出,并将被亚马逊云、戴尔、谷歌、Meta、微软、OpenAI、甲骨文、特斯拉、xAI等采用。
Amazon Cloud、Google Cloud、Microsoft Azeure 和Oracle Cloud 将成为首批提供Blackwell GPU 驱动实例的云服务提供商。 NVIDIA 云合作伙伴计划中的Applied Digital、CoreWeave、Crusoe、IBM Cloud 和Lambda 也将提供上述服务。
Indosat Ooredoo Hutchinson、Nebius、Nexgen Cloud、Oracle EU Sovereign Cloud、Oracle US/UK/Australia Government Cloud、Scaleway、Singtel、Northern Data Group 的Taiga Cloud、Yotta Data Services 的Shakti Cloud、YTL Power International 和其他主权AI 云也将提供基于Blackwell架构的云服务和基础设施。
[免责声明]本文来源于网络,不代表本站立场,如转载内容涉及版权等问题,请联系邮箱:3801085100#qq.com,#换成@即可,我们会予以删除相关文章,保证您的权利。