袁进辉:推理算力需求无上限 芯片企业迎巨大机遇

袁进辉:推理算力需求无上限 芯片企业迎巨大机遇
袁进辉:推理算力需求无上限 芯片企业迎巨大机遇

11月12日,在第十七届财新峰会上,硅基流动创始人兼CEO袁进辉表示,推理环节所需算力远大于训练且没有上限,这为芯片企业,尤其是新进入者带来了巨大市场机遇。他指出,当前AI正将人类智力转化为可规模化生产的工业品,算力供需矛盾十分突出。

袁进辉分析称,AI算力分为训练和推理两类。训练一个优质模型约需一百万亿token,但推理所需token无上限,目前许多企业日推理量已超百万亿。相比于训练市场,芯片企业切入推理市场的门槛更低,新玩家更具机会。他认为,只要AI智力能改善生活,相关算力需求将持续扩大。

在模型选择方面,袁进辉认为国内开源模型能力虽仍在追赶闭源模型,但在写作、翻译、编程等已能充分满足需求的场景中,开源模型具备显著的成本优势与数据主权保障。

— 完 —

💬 评论

加载中...