HPE在MLPerf Inference v6.0 AI基准测试中斩获18项第一！

近日，MLCommons发布MLPerf^®Inference v6.0测试结果^¹，作为MLCommons MLPerf^®创始成员的HPE再次站在了AI性能竞赛的前沿。这是第10轮MLPerf^®Inference结果发布，仅在v6.0这一轮中，HPE不仅横跨广泛的AI工作负载测试夺得了18项第一名^²，还提交了总计862项结果。这一惊人数字是所有厂商中最高的，展示了无与伦比的产品组合广度和AI推理能力深度。顶尖排名、持续参与、大量提交——这充分印证了HPE长期致力于通过卓越的性能、多功能性和创新为客户创造价值。

从大语言模型基准测试到边缘性能测试，再到能效测试，HPE ProLiant服务器持续为真实世界的AI推理树立行业标准。

我们的旗舰产品HPE ProLiant Compute DL380a Gen12在以Llama为重点的测试中斩获了8项第一^³，在Llama3.1-8B交互式基准测试中，性能比次优系统高出29%^⁴，并在六个不同的Llama场景中超越竞品⁵。此外，配备四块英伟达GPU的HPE ProLiant DL385 Gen11在Llama基准测试中获得了4项第一^⁶，并且在Llama3.1-8B基准测试中与DL380a类似，性能比次优提交高出24%^⁷。

在出色的Llama基准测试表现之上，HPE ProLiant DL385 Gen11在语音转文本工作负载中展现了持续的统治力。在MLPerf^®Inference v5.1中，DL385 Gen11在Whisper语音转文本基准测试中夺得第一名^¹²，为准确性和吞吐量设定了高标准。这一势头延续到了此次最新的v6.0轮次，DL385 Gen11再次证明了其实力，以每秒4712个样本的出色表现超越了四个竞争系统，在两GPU配置下实现了每GPU每秒2356个样本^¹³。这些结果进一步证明了：DL385 Gen11作为高效、高性能解决方案，是AI驱动型语音识别应用客户的理想之选。

可持续性和能效对于AI部署日益关键，而HPE ProLiant DL385 Gen11两者兼具。在近乎对等的配置下，DL385 Gen11中的GPU功耗被限制在最高450瓦，而竞品使用的GPU运行功率更高（600瓦）。DL385 Gen11在关键基准测试中产生了几乎相同的推理结果^¹⁴，为必须在吞吐量与能耗及散热限制之间取得平衡的客户提供了卓越的经济性。

详见表1，对比HPE与竞品在llama3.1-8b、llama2-70b-99和Whisper (Offline)中的结果^¹⁴。虽然DL385在Llama测试中与竞品系统表现接近，但它在Whisper Offline测试中超越了竞品系统。这一结果凸显了较低的GPU功耗并未实质性损害语音转文本吞吐量——并且在本案例中反而产生了可衡量的优势。

HPE ProLiant DL145 Gen11在本轮中首次亮相MLPerf^®，它专为边缘AI推理而设计。除了采用强大的英伟达GPU之外，DL145 Gen11还提供了多项附加功能，使其成为苛刻环境下分布式部署的理想选择：可选配的加固套件使服务器达到MIL-STD-810H等级，工作温度范围从-5°C到55°C，并能凭借空气过滤系统应对多尘或工业环境。