IT之家6 月27 日报道，科技博客Chips and Cheese 于6 月25 日对AMD MI300X GPU 进行了详细测试，比较了缓存、延迟、推理等，发现其性能远远优于Nvidia 的H100。博客文章指出这一点已经被发现。
MI300X 简介
AMD Instinct MI300X人工智能加速器基于CDNA 3架构构建，采用5nm和6nm混合工艺技术，拥有多达1530亿个晶体管。
存储也得到了显着增强，MI300X的HBM3容量比上一代MI250X（128GB）增加了50%。
相比NVIDIA H100，MI300X具有以下优势：
内存容量增加2.4 倍
1.6 倍内存带宽
FP8 性能(TFLOPS) 提高1.3 倍
FP16 性能(TFLOPS) 提高1.3 倍
1v1对比测试中比H100（Llama 2 70B）性能提升高达20%
在1v1 对比测试中，性能比H100 (FlashAttendant 2) 提升高达20%
在8v8 服务器对比测试中，性能比H100 (Llama 2 70B) 提升高达40%
在8v8 服务器对比测试中，性能比H100 (Bloom 176B) 提升高达60%
高速缓存
AMD MI300X 配备32KB L1 缓存、16KB 标量缓存、4MB L2 缓存和巨大的256MB Infinity 缓存（作为L3 缓存）。
Hips and Cheese 的缓存基准测试表明，MI300X 的缓存带宽在所有相关缓存级别上均明显优于Nvidia 的H100。
从L1缓存性能来看，MI300X的带宽是H100的1.6倍，L2缓存的带宽是H100的3.49倍，MI300X的末级缓存（即无限缓存）的带宽是H100的3.12倍。 H100 正在显示。
与H100 PCIe 相比，
显存带宽
AMD GPU 的原生HBM3 内存增加了2.72 倍，VRAM 带宽增加了2.66 倍。
在内存测试中，AMD GPU 唯一不足的地方是内存延迟，H100 比AMD GPU 快57%。
请注意，这是具有80GB HBM2E 的最低规格H100 PCIe 卡。 H200 等较新版本包含高达141 GB 的HBM3E，带宽高达4.8 TB/s。
Raw 吞吐量
Chips 和Cheese 指令吞吐量结果考虑了INT32、FP32、FP16 和INT8 计算。
AMD 芯片具有令人难以置信的高指令吞吐量。 MI300X 在某些情况下比H100 快5 倍，在最坏的情况下快40%。
人工智能推理测试
原地址附在IT之家，有兴趣的用户可以阅读详情。
版权声明：本文由今日头条转载，如有侵犯您的版权，请联系本站编辑删除。