算力成本下降后,AI 应用会怎么变

算力成本下降后,AI 应用会怎么变

当推理成本每年下降一个数量级,产品设计的假设也要跟着重写。

过去两年推理成本下降了近一个数量级,这个变化正在悄悄改写产品设计的默认假设。

从"省 token"到"多跑几遍"

当单次调用足够便宜,用多次采样加投票来提升准确率,会比精巧的提示词工程更划算。

从"一个模型"到"模型组合"

小模型做初筛、大模型做复核,这种分层架构在成本上明显优于全部走大模型。

从"功能"到"默认能力"

当成本趋近于零,AI 不再是需要点击的按钮,而是所有功能背后的默认能力。

💬 评论 (0)

暂无评论,来发表第一条评论吧!