Scaling Law拟合成本感知创新：Spend Less, Fit Better获取函数详解

大型集团凭借资源优势加速布局，中小企业则更注重投入产出比。

这篇论文的贡献在于将 Scaling Law 拟合重构为一个目标导向的顺序实验规划问题。作者不是简单增加实验数量，而是引入不确定性感知的预算分配机制：先通过多次初始化 refit 得到候选盆地，再在预测空间而非参数空间进行 basin consolidation，合并那些在外推行为上一致的模式。

论文的创新在于提出一种不确定性感知的方法。它综合考虑成本惩罚和方差减少，优先挑选那些对目标高成本区域外推最有帮助的实验。早期阶段倾向于区分不同外推盆地，后期则细化局部趋势。这不是简单省钱技巧，而是从被动拟合转向主动智能预算分配的范式转变，呼应了active learning在低预算regime下的趋势。

真正值钱的不是盲目增加实验数量，而是精准挑出对高成本目标区域最有信息增益的那些run。过去那种“多跑总没错”的思路，在算力依然昂贵的今天显得越来越奢侈。该方法提醒从业者，Scaling Law拟合的效率提升空间远比想象中大，尤其当实验池内成本差异显著时，主动分配带来的边际收益会格外突出。

行业里很多人谈Scaling Law时，重点放在它如何帮助大模型团队提前规划算力和数据规模，避免后期盲目投入。但实际操作中，先跑一大堆试点来拟合曲线，这部分开销往往被低估成“常规预处理”。真实场景下，实验成本高度异构：小规模模型跑得快而便宜，大上下文或特殊硬件配置则贵得多。主流认知容易停留在“少跑几个点就能拟合曲线”，却忽略了目标往往是可靠外推到高成本区域，而非简单插值现有数据。

这一方法的反直觉价值在于，它不是简单“砍预算”，而是让有限资源流向真正影响决策的实验。在高预算团队看来，它提供更精细的分配策略；对中小团队，则显著降低了 Scaling Law 预研门槛。但盆估计准确性、实际成本建模精度等因素仍会影响效果，数据支持这个方向，但样本量和场景多样性有限，值得持续跟踪，现在下结论为时尚早。

这个盲区在MoE场景下被放大得尤为明显。不同配置的实验成本并非均匀分布，盲目全量运行很容易把有限预算浪费在信息增益低的点上，而真正高价值的目标区域——如大型MoE的scaling行为——却难以获得可靠的外推预测。传统做法更像在多条路径上平均撒钱，风险与回报不成比例。

这篇论文的核心贡献在于将Scaling Law拟合重构为预算感知的序贯实验设计问题。给定一个候选实验池，每个实验附带异质计算成本，算法的目标不再是简单收集更多数据点，而是最大化在高成本目标区域的预测准确性。作者团队提出不确定性感知的预算分配策略：将参数后验近似为多个“盆地”的混合高斯分布，这些盆地捕捉不同的局部最优与外推行为。

有意思的是，盆估计并非直接在参数空间进行，而是通过预测空间聚类结合混合高斯近似和局部线性化来高效计算。这一点避免了昂贵的后验采样，同时确保外推行为由预测表现主导而非参数值本身。早期迭代更侧重降低inter-basin不确定性以区分不同盆，后期则转向细化intra-basin精度，优先级排序让资源真正流向决策最敏感的区域。

论文的核心突破在于将Scaling Law拟合重构为预算感知的顺序主动实验选择问题。作者提出通过不确定性感知的预算分配，先在当前数据集上多次refit得到不同盆地，然后在预测空间而非参数空间进行basin consolidation，合并那些外推行为相似的模式。这一设计避免了冗余，聚焦真正影响高成本区域预测的歧义。

放到更广的机器学习实验设计背景下看，它与主动学习、序贯优化一脉相承，却特别强调了现实中的异构成本约束，这一点目前行业内仍有不同声音。

行业观察者视角下，谁有一块1分跑的快群的演进路径已逐渐清晰，但真正决定胜负的，仍是那些尚未浮出水面的执行细节。市场分析的落地节奏值得持续关注。