OpenAI Jalapeño芯片在大规模推理中表现出色，基准测试结果公布

在周二的Hot Chips会议上，OpenAI详细介绍了其Jalapeño芯片，并公布了首批基准测试结果。该芯片在Semianalysis的InferenceX基准测试中，每用户令牌数和每千瓦吞吐量均超过了当前最先进的推理处理器。OpenAI硬件负责人Richard Ho在新闻发布会上表示，结果显示Jalapeño在性能上比现有技术有非常显著的提升，能够以更高的效率处理更多AI工作，同时返回响应更快，既适合大规模用户服务，也能实现低延迟。值得注意的是，此次对比对象是英伟达Blackwell系统，但Jalapeño全面部署时竞争格局可能已发生变化。Ho估计，Jalapeño将于2026年底以极小批量部署，2027年进行更大规模部署。Jalapeño于去年10月首次宣布，由OpenAI与博通（Broadcom）密切合作开发，OpenAI自身的模型也在开发过程中提供了协助。该公司计划将Jalapeño打造成多代平台，使AI产品、模型、芯片和内存协同开发。凭借这种全栈式方法，OpenAI能够解决推理过程中特定阶段的常见问题，特别是Jalapeño旨在减少推理处理中的预填充和通信阶段延迟，OpenAI称这些阶段常成为瓶颈。公司在发布结果的博客文章中表示，Jalapeño的设计旨在最大限度地减少数据移动和通信延迟，这意味着包括生成响应时使用的KV缓存在内的模型状态可以明确放置并保持本地，同时系统为每个推理阶段激活正确的计算、内存和网络组合。