AI大模型训练预算节省新招：用10%成本拟合更准Scaling Law

你越接近用户真实需求，效果就越自然。

为什么该方法特别适用于学习率与批大小这类超参数？因为它们的Scaling行为通常呈现复杂的非线性，且在不同模型规模或数据regime下差异明显。传统方法易在低成本区域过度采样，而忽略那些能揭示目标高成本区域关键规律的点。主动选择则通过实时不确定性评估，动态聚焦高价值实验，避免了常见浪费。

论文的核心贡献在于把scaling law拟合重构为预算受限下的顺序实验设计。给定一个包含异构成本的候选实验池，方法不再一次性决定全集，而是从低成本起点开始，动态选择下一个最有价值的实验。操作上，先用FLOPs等指标标注每个候选的预估成本，再设定总预算上限。通过这种方式，团队能以远低于全集的开销，优先解析那些对目标区域预测影响最大的不确定性。早期阶段侧重解决全局“盆间”分歧，后期则精细化局部趋势，这与人类投资决策的逻辑高度一致。

AI实验室在规划多百万美元的大型模型训练时，试点实验集的组装早已成为预算分配的核心难题。许多团队先得跑一批不同规模、数据量和超参配置的小实验来拟合scaling law，以便外推未来大模型的表现。可现实中，这些“低成本”试点往往就消耗掉总预算的显著部分，选错配置或分配不当，直接导致后续大规模训练走弯路，甚至项目延误。

主动选择最有信息量的实验，而不是盲目堆预算——这一方法论把低成本小实验的潜力推向新高度。对于还在为试点预算头疼的团队来说，它提供了一条可操作的路径：从小实验池起步，动态调整，直至目标区域不确定性降到可接受水平。下一步如何将这一思路与具体成本代理和目标定义结合，仍是一个开放但值得探索的问题。

论文提出的方法直击这一盲区。它不再追求数据量的简单堆积，而是针对低预算区对高成本目标区域的主动分配。核心是将问题转化为预算受限的序贯决策：给定候选实验池，每个实验附带不同计算成本，下一步优先选择那些最能降低目标区域预测不确定性的点。实证显示，在1%预算时该方法已在多数任务上优于随机和经典基线，到10%预算时往往逼近全数据拟合水平。

一篇最新arXiv论文《Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection》提出了一种预算感知的主动实验选择框架，仅用约10%的总训练预算，就能逼近全实验集拟合的精度，尤其在学习率-批大小这类异质成本场景下表现出色。

AI实验室在规划几百万美元级别的大型模型训练时，试点实验集的组装往往成为预算分配的最大难题。许多团队习惯于随机挑选不同规模、数据量和超参配置的小实验来拟合scaling law，却发现这些前期投入已经吃掉总预算的显著比例，而最终的外推预测仍不够可靠。arXiv上这篇最新论文指出，传统方法难以针对高成本目标区域进行优化，导致资源浪费严重。

它将参数后验近似为多个局部最优盆的混合，并分解目标区域预测误差为intra-basin和inter-basin不确定性，从而计算每个候选的效用分数并除以成本，优先选择性价比最高的试点。

对大多数AI工程师而言，这套主动实验选择机制的吸引力在于，它让pilot阶段从“被动烧钱”转向“精准投资”。中小团队以往因预算限制，只能保守选择少量实验点，现在可以更从容地探索多种Scaling假设，而不用担心早期迭代就见底。长期观察下来，这种方法有望降低整个行业对巨额pilot投入的依赖，推动Scaling Law在开源社区和资源受限场景的更广泛应用。

大家都知道Scaling Law的价值。用小模型实验外推大模型性能，听起来很聪明。但实际操作中，大多数团队还是依赖经典实验设计，或者干脆随机、全量跑pilot实验。行业讨论里，很多人把焦点放在Scaling Law会不会失效或者数据墙上，却很少提到拟合过程本身的预算黑洞。这一点目前行业内仍有不同声音。

这个剪刀差，已成为抓住趋势领域的典型写照。