AI算力竞赛：General Compute押注SambaNova成下一个Cerebras

AI模型运行所需计算资源的需求持续激增，但行业面临两大核心挑战：获取合适的芯片及将其部署至数据中心以产生收益。新成立的推理型“新云”公司General Compute（专注于模型运行阶段的AI处理能力租赁）针对这些问题提出了解决方案，并因此完成1500万美元种子轮融资，投后估值6亿美元，由FUSE VC领投，Carya Venture Partners和Village Global Ventures参投。关于合适芯片的选择，尽管GPU需求高涨，但行业普遍认为其并非最适合训练后模型运行的芯片，推理阶段的计算需求与训练阶段不同，催生了专门设计的新型芯片。Nvidia去年12月200亿美元收购Groq及Cerebras上周570亿美元IPO均表明了这一趋势。由于上述公司产能紧张，General Compute联合创始人CEO Finn Puklowski与CTO Jason Goodison选择了Intel支持的专注于推理的芯片制造商SambaNova，该公司近期在硅谷关注度有所下降，但可能随今年新芯片发布而改变。SambaNova称其新芯片架构更灵活，内存更大以存储推理计算中的上下文，性能优于GPU及Groq、Cerebras等公司的专用芯片，Puklowski表示新芯片每秒可生成600-700个令牌，而GPU约为250个。General Compute已订购3亿美元的SN50芯片，并将成为首家部署该芯片的新云公司。这些芯片采用风冷而非水冷，功耗更低，可在现有数据中心设施安装，无需新基础设施投资，解决了部署问题。Puklowski正寻求与数据中心提供商及加密矿工的 colocat ion合作，以复用加密矿工的基础设施（因比特币生产成本常高于价格）。General Compute上周推出云服务，声称其运行开源大型语言模型MiniMax 2.7的速度已属最快。曾于2021年投资Groq的风投人Joe Hasselmann今年成立专注AI领域的Evercrest Capital Partners，并将General Compute作为首笔投资，他认为SambaNova与General Compute的合作类似于CoreWeave与Nvidia、Groq芯片制造与其前云服务的合作模式，强调双方相互押注，需高增长环境的客户组合。当前问题在于何种计算机架构将在AI未来占据最大价值，推理云隐含对多模型、多代理世界的押注，其中无单一供应商主导，推理速度和成本成为关键竞争变量，如OpenRouter本周完成1.13亿美元B轮融资，因其能为客户提供多模型访问以优化令牌支出。速度对价格和能力均至关重要，Puklowski希望将编码代理的小时级工作负载缩短至5-10分钟，并降低客户服务音频代理的成本（需更快推理以有效对话），他指出，尽管ChatGPT每秒50个令牌已快于人类阅读速度，但代理间交互需要更快速度。