您的位置: 主页 > NVIDIA 于 MLPerf 基准测试以 A100 性能击败 CPU 快 237 倍的 AI 推论速度

NVIDIA 于 MLPerf 基准测试以 A100 性能击败 CPU 快 237 倍的 AI 推论速度

NVIDIA 宣布自家人工智能 (AI) 运算平台,在第二版 MLPerf Inference 基准测试中,于资料中心和边缘运算系统的六项应用领域中的每一项测试均夺下冠军,并且比 CPU 性能高出 237 倍。

多个产业的组织早已运用 NVIDIA® A100 Tensor Core GPU 的卓越推论性能,将 AI 从研究单位带入日常营运内。金融机构使用对话式 AI 以更快速地回答客户的问题;零售商运用 AI 维持货架上的库存;医疗服务供应商通过 AI 分析数百万张医疗影像,以更准确地识别疾病并帮助拯救生命。

最新的 MLPerf 结果出炉之际,NVIDIA 涉足 AI 推论领域的范围也急剧增长。五年前只有少数引领业界的高科技公司将 GPU 用于推论作业;如今,NVIDIA 的 AI 平台可通过各大云端运算与资料中心基础设施供应商取得,各行各业的公司都能使用 NVIDIA 的 AI 推论平台提升其业务营运的表现,并提供额外的服务。

此外,NVIDIA GPU 目前在公有云环境中提供 AI 推论的能力也首度超越 CPU。NVIDIA GPU 上的云端 AI 推论运算量约每两年成长十倍。

NVIDIA AI 推论能力更上一层楼

NVIDIA 与其合作伙伴提交的 MLPerf 0.7 基准测试成绩是通过 NVIDIA 的加速平台而得,其中包括 NVIDIA 的资料中心 GPU、边缘 AI 加速器及 NVIDIA 优化软件。

NVIDIA 在今年稍早推出搭载第三代 Tensor Cores 及多执行个体 GPU 技术的 NVIDIA A100,在 ResNet-50 测试扩大了其领先优势。在最新一次的测试中,A100 以 30 倍的优势击败了 CPU 系统,而在上一轮的测试成果中则为六倍。根据 MLPerf Inference 0.7 基准测试,A100 在新加入的资料中心推论推荐系统测试中,较最新的 CPU 性能高出237倍。

这代表一台 NVIDIA DGX A100 系统就能提供约 1,000 台双插槽 CPU 服务器一样的性能,这让客户在将他们的 AI 推荐系统模型从研究投入生产时,提供极高的成本效益。

此基准测试亦显示,NVIDIA T4 Tensor Core GPU 对于主流企业、边缘服务器和高成本效益云端执行个体而言,依然是可靠的推论平台。在同样的测试中,NVIDIA T4 GPU 的表现比 CPU 高出28倍。此外,NVIDIA Jetson AGX XavierTM 是系统单芯片边缘设备中性能的佼佼者。

要有高度优化的软件堆叠才能达到如此优异的性能表现,包括 NVIDIA TensorRTTM 推论优化器与 NVIDIA Triton 推论服务软件,这两个软件都可以在 NVIDIA 的软件目录 NGC 中取得。

除了 NVIDIA 自己提交的成果,NVIDIA 的 11 个合作伙伴也使用 NVIDIA GPU 提交共 1,029 项成果,占资料中心与边缘类别提交总数的 85% 以上。

上一篇:Comply Apple AirPods Pro 专用耳棉在台上市,强调较硅胶耳塞柔软 30 倍
下一篇:超特斯拉!全球首个 600kW 超充站诞生:速度堪比加油

您可能喜欢

回到顶部