北京时间今日凌晨旧金山举行的“Advancing AI”大会上,AMD 公司推出了 Instinct MI325X 加速卡。
MI325X 加速卡基于 CDNA 3 架构,相比较旧款 MI300X 带来了一系列改进。为了迎接万亿参数的 AI 模型,AMD MI325X 加速卡重点提升了 HBM3E 内存和计算能力。
AMD MI325X 加速卡配备 256 GB 的 HBM3E 内存,容量是 MI300(192GB)的 1.8 倍,带宽更是达到了 6 TB/s。
新的加速器在 FP16 下提供 1.3 PetaFLOPS,在 FP8 训练和推理下提供 2.6 PetaFLOPS,较 MI300 提升 1.3 倍,所有这些都集成在一个拥有 1530 亿个晶体管的芯片中。
配备八个 MI325X 加速器的系统可实现 2 TB HBM3E 内存和 48 TB/s 带宽,计算性能为 10.4 PetaFLOPS(FP16)和 20.8 PetaFLOPS(FP8)。
AMD 声称,Instinct MI325X 在内存带宽、FP16 / FP8 计算性能上超越 NVIDIA H200 HGX 系统 1.3 倍,在内存容量上超越 1.8 倍。
加速器核心是 ROCm 软件堆栈,AMD 计划将 ROCm 引入每款 GPU(甚至包括消费级 GPU),并与开源社区合作集成最新功能。
AMD 表示会和开源社区合作,将 PyTorch、Triton、ONNX 等框架的功能整合到 ROCm 堆栈中。