AI计算力正在成为新一轮科技革命和产业变革的重要方法和工具。如今，AI已进入大规模推理时代。
MLPerf是影响力最广的国际AI性能基准评测，其推理性能评测涵盖使用广泛的六大AI场景，比如计算机视觉、自然语言处理、推荐系统、语音识别等，每个场景采用最主流的AI模型作为测试任务，每一任务又分为数据中心和边缘两类场景。
MLPerf凭借其透明性和客观性使用户能够做出明智的购买决定。该基准测试得到了包括亚马逊、Arm、百度、谷歌、哈佛大学、英特尔、Meta、微软、斯坦福大学和多伦多大学在内的广泛支持。
在近日公布的MLPerfAI推理基准测试结果中，NVIDIA协众多产品继续一骑绝尘，其中NVIDIAHGPU创造多项世界纪录、AGPU在主流性能方面展现领先优势、JetsonAGXOrin在边缘计算方面处于领先地位。
NVIDIAHGPU
NVIDIAHGPU基于Hopper架构，该芯片与两年前推出的上一代Ampere芯片相比，性能提升4.5倍。
NVIDIAHGPU首次亮相MLPerfAI推理基准测试便表现不俗，其提高了本轮测试所有六个神经网络中的单加速器性能标杆，它在单个服务器和离线场景中展现出吞吐量和速度方面的领先优势。
BERT是MLPerfAI模型中规模最大、对性能要求最高的的模型之一。Hopper在流行的用于自然语言处理的BERT模型上表现出色部分归功于其TransformerEngine。
TransformerEngine结合了数据格式和算法，并可通过所使用的Transformer机器学习系统加速硬件性能。
据悉，HGPU还将参加未来的MLPerf训练基准测试。
NVIDIAAGPU
作为市场主流产品，NVIDIAAGPU继续在主流AI推理性能方面展现出全方位领先，
在数据中心和边缘计算类别与场景中，AGPU赢得的测试项超过了任何其他提交的结果。A还在6月的MLPerf训练基准测试中取得了全方位的领先，展现了其在整个AI工作流中的能力。
A还在6月的MLPerf训练基准测试中取得了全方位的领先，展现了其在整个AI工作流程中的能力。
自年7月在MLPerf上首次亮相以来由于NVIDIAAI软件的不断改进，AGPU的性能已经提升了6倍。
NVIDIAAI是唯一能够在数据中心和边缘计算中运行所有MLPerf推理工作负载和场景的平台。
NVIDIAJetsonAGXOrin
人工智能（AI）的实效性、物联网设备的采用以及边缘计算的性能都在近期取得了显著的进步，进而释放了边缘AI的潜能。
NVIDIAJetsonAGXOrin模块是NVIDIAJetson家族的最新成员并且在其中具有最强大的性能。Orin将NVIDIAAmpere架构GPU和强大的ArmCPU内核集成到一块芯片中。
在边缘计算方面，NVIDIAOrin运行了所有MLPerf基准测试，是所有低功耗系统级芯片中赢得测试最多的芯片。
在上一轮基准测试中，Orin的运行速度和平均能效分别比上一代JetsonAGXXavier模块高出5倍和2倍。
在能效方面，Orin边缘AI推理性能提升多达50%。
目前，Orin现已被用在NVIDIAJetsonAGXOrin开发者套件以及机器人和自主系统生产模块，并支持完整的NVIDIAAI软件堆栈,，包括自动驾驶汽车平台（NVIDIAHyperion）、医疗设备平台（ClaraHoloscan）和机器人平台（Isaac）。
广泛的NVIDIAAI生态系统
MLPerf结果显示，NVIDIAAI得到了业界最广泛的机器学习生态系统的支持。
在这一轮基准测试中，有超过70项提交结果在NVIDIA平台上运行。例如，MicrosoftAzure提交了在其云服务上运行NVIDIAAI的结果。
此外，10家系统制造商的19个NVIDIA认证系统参加了本轮基准测试，包括华硕、戴尔科技、富士通、技嘉、慧与、联想、超微等。
结语
AI加速落地，而不管是训练还是推理，都离不开坚实的算力支撑。NVIDIA以全面的产品组合覆盖从云到数据中心、边缘的AI场景，MLPerf的测试结果展现了NVIDIA产品的实力，赋能企业AI的部署与应用。
转载请注明：http://www.0431gb208.com/sjslczl/4445.html
