锐速新闻网

AMD与Cerebras合作推进低时延AI推理解决方案的架构探讨

根据公开资料，AMD宣布与Cerebras公司联合开发AI推理解决方案，该方案聚焦于超低延迟场景。该联合开发利用AMD的Helios机架处理提示词和大上下文窗口，结合Cerebras Wafer-Scale Engine进行Token生成解码，预估可将每瓦每秒的Token吞吐量提升5倍。