【ZOL中关村在线原创新闻】近日英特尔宣布，在最新发布的MLPerfClientv0.6基准测试中，它是唯一一家实现完整神经处理单元（NPU）支持的公司。这一成果标志着行业首次对客户端设备上的大语言模型（LLM）在NPU上的性能进行标准化评估。根据英特尔对MLPerfClient v0.6的测试结果，搭载IntelCore Ultra Series 2处理器的设备，能够通过GPU和NPU以远超人类阅读速度的效率生成内容。
MLPerf Clientv0.6是基于Llama2 7B模型，测试了四种内容生成与摘要的应用场景。英特尔在其NPU和集成的IntelArc GPU上均展示了领先行业的性能表现。
在测试中，英特尔实现了最快的NPU响应时间——首字生成仅需1.09秒（即“首个token延迟”），这意味着系统几乎在收到提示后立即开始作答。同时，英特尔的NPU还实现了最高的吞吐量，达到每秒18.55个token，这代表了系统生成后续文本的速度，为实时、流畅的AI交互体验提供了保障。
关于MLPerf中的NPU测试：MLPerfClientv0.6由MLCommons联盟成员联合开发，参与方包括英特尔、AMD、微软、英伟达和高通等企业。该版本不仅延续了以往面向GPU的测试，还首次加入了针对NPU的专项基准测试。
凭借英特尔NPU硬件团队与OpenVINO软件团队的紧密协作，IntelCore Ultra系列处理器成为目前唯一在最终测试中实现完全符合NPU测试标准的平台。
本文属于原创文章，如若转载，请注明来源：英特尔宣布在MLPerf Client v0.6 测试中全面支持 NPUhttps://diy.zol.com.cn/980/9806047.html
