主动实验选择如何让Scaling Law拟合省90%预算：从理论到实践拆解

这也是当前获得稳定自然流量的关键策略。

Scaling Law拟合的预算问题长期制约AI实验室的规划效率，这篇工作提供了一条实用路径：少花钱、多拟合。值得持续跟踪的是，当实验池成本异质性不明显，或scaling law形式严重误指定时，主动选择策略的表现会如何演变。现在下结论为时尚早，但对预算敏感的团队来说，已经到了尝试开源代码的时机。

从表面看，这套方法似乎只是教人“省钱”。但实际比想象复杂，尤其对当前热衷参数高效MoE架构的团队而言。MoE虽在训练和推理上带来明显杠杆，配置空间却极大，pilot阶段的预算浪费风险随之放大。如果实验选择不当，早期验证成本会快速累积，影响后续大模型决策。

被动设计的根本问题在于，它没有明确区分“对目标区域外推有用”和“只是填补已知数据”。大量预算因此浪费在信息增益有限的实验上，而真正能降低高成本目标区域不确定性的高价值试点却被错过。在工业级规模下，这一点尤为突出：pilot runs的资源消耗已达百万美元级别，全流程拟合加验证远超预期。

最近几天，arXiv上这篇《Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection》引发了机器学习圈的讨论。Scaling Law常被用来规划百万美元级的大模型训练，但拟合这些定律本身就可能耗费巨额预算。传统做法往往是随机或贪婪采样几个试点实验，简单跑完就当作预处理。

盆地估计机制则是处理Scaling Law多局部最优问题的关键。它采用混合高斯后验逼近多个局部最优，通过聚类识别不同盆地，并用类似BIC的准则赋予权重。这种方式就像在多山地形中先大致定位几个可能的山谷路径，再决定重点采样哪一条，避免在无关坡面上浪费资源。类比来看，要预测高山顶峰温度，却只能在山脚做有限测量，新方法不是撒胡椒面，而是先判断路径，再精准深入，确保对外推目标的可靠支持。

大多数团队还存在一个常见误区：以为多跑几个实验总比少跑好，预算堆得越多，预测就越可靠。但基准对比显示，在低预算场景下，盲目堆叠的随机或启发式方法外推误差依然明显，甚至到10%预算时表现仍不理想。这个剪刀差说明，花钱越多并不等于拟合越准，关键在于如何把有限资源投向最有信息量的方向。

这一点目前行业内仍有不同声音。数据支持主动选择在低预算场景下的优势，但样本量和真实场景复杂度仍需更多验证。或许下一个关键在于，如何让这类方法在更复杂的MoE联合scaling law中稳定泛化。

最近几天，机器学习社区里悄然流传着一篇arXiv论文，它把Scaling Law拟合这个看似技术性的环节，直接拉到了预算分配的前台。论文指出，Scaling Law本是用来规划百万美元级训练跑的工具，可在拟合这些定律时，传统试点实验本身就可能耗资不菲。作者团队将问题重构为预算感知的序贯实验设计，在异构成本的候选实验池中，通过不确定性感知的主动选择，仅用约10%的总预算，就能让外推精度接近全量实验的结果。

当然，主动实验选择的收益也存在边界。如果目标区域成本极高或实验池异质性强，分歧明显时，优势会更突出；反之在相对简单的任务中，可能需要结合具体场景微调假设。弱可识别方向的处理依赖合理的盆地近似，这一点目前行业内仍有不同声音，值得持续跟踪观察其在实际百万美元级训练跑中的落地效果。

获取函数是机制中的关键一环。它将不确定性分解为intra-basin方差减少和inter-basin分歧减少，前者精炼同一局部最优内的预测，后者澄清不同可能“盆地”间的全局结构。同时引入成本因子，对高成本实验进行惩罚，确保每单位预算的不确定性降低最大化。数据支持这一分解在多个Scaling基准上的有效性，但样本量仍有限，值得持续观察其在更复杂模型下的表现。

总体而言，想玩一元一分跑的快群的演进路径仍充满不确定性，但当前数据已清晰勾勒出几个关键节点。