近日,MLCommons公布最新的MLPerf推理v5.1基准测试结果,英特尔提交了基于英特尔®至强® 6性能核处理器、英特尔®锐炫™ Pro B60显卡的GPU系统,及其代号Project Battlematrix(战斗阵列)的推理工作站在六项关键测试中的结果。其中,Llama 8B的测试结果显示,英特尔锐炫Pro B60显卡展现出1.25-4倍于市场同类型产品的成本效益1。这些测试结果展现出英特尔产品组合兼具性能优势与易于部署性,能够满足高端工作站与边缘应用中各种新兴的AI推理工作负载需求。
英特尔公司副总裁兼软件、GPU与NPU IP事业部总经理Lisa Pearce表示:“全新MLPerf测试结果充分展现了英特尔GPU与AI战略的前瞻性。通过搭载全新优化的推理软件栈,英特尔锐炫Pro B系列GPU可以帮助开发者和企业以性能卓越、部署简便、性价比高且可扩展的推理工作站,轻松开发和部署AI应用”。
在专业人士在选择平台时,通常会面临一个挑战:他们既需要高推理性能和大型语言模型(LLM)的部署能力,又不能牺牲数据隐私,还要避免高昂的专属AI模型订阅成本。因此,能满足这些条件的平台选择非常有限。
而代号为“Project Battlematrix”的全新英特尔GPU系统,专为满足现代AI推理需求而设计,并提供一个软硬件全面验证的一体化推理平台。
该系统意在通过专为Linux环境构建的全新容器化解决方案,简化部署流程。经过优化的方案,可提供领先的推理性能,不仅支持多GPU扩展与PCIe P2P数据传输,而且集成了企业级的可靠性和可管理性功能,诸如ECC纠错、SRIOV虚拟化、遥测及远程固件更新等。
同时,CPU 在 AI 系统中继续发挥着至关重要的作用。作为整个系统的协调中心,CPU 负责数据预处理、传输和整体系统调度。过去四年间,英特尔持续提升CPU运行AI工作负载的性能,使英特尔至强处理器成为搭载和管理GPU驱动AI工作负载的理想CPU。
英特尔仍是唯一向MLPerf提交CPU结果的服务器处理器供应商,这充分展现了其在通用计算和专用加速器领域全面加速AI推理能力的领导力和决心。值得注意的是,与上一代相比,英特尔至强 6性能核处理器在此次MLPerf推理v5.1测试结果中,亦展现出1.9倍的性能提升。