来源:Gangtise投研
AI基础设施 专家表示,OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态。推理端的带宽会接近训练端卡的组网形式。因为计算方式改变,引入新计算模式后计算复杂度(计算多样性)与训练相当,以前的推理芯片效能和能力逐渐不够,最终会回到用训练芯片做推理的状态。
来源:Gangtise投研
AI基础设施 专家表示,OpenAI-O1模型使推理需求有10~100倍增量,模型训练和推理都以万卡集群为起步状态。推理端的带宽会接近训练端卡的组网形式。因为计算方式改变,引入新计算模式后计算复杂度(计算多样性)与训练相当,以前的推理芯片效能和能力逐渐不够,最终会回到用训练芯片做推理的状态。
本文由 @admin 于 2024-09-19 发布在 上海锦玉汇科技有限公司,如有疑问,请联系我们。
本文链接:https://ypfaknne.com/post/6703.html
发表评论