机器学习实验设计新突破：主动实验选择如何帮你用10%预算拟合更好Scaling Law

强化耐心的搜索生态，正在变得更加动态和个性化。

为什么传统方法在低预算下容易失效？它们往往假设实验点均匀分布，或仅优化整体参数估计精度，却忽略了目标区域多位于高成本区的事实。新方法显式纳入预算和成本，每次选择都计算候选实验对目标MSPE的预期减少量，并以成本归一化。这让低成本高信息量的点优先入围，高成本点则只在必要时触发。

最近一篇arXiv论文（2604.22753）在AI训练社区引发关注。Scaling Law长期被视为规划百万美元级大模型训练的预测工具，能帮助实验室在高算力区预估性能表现。但拟合这些规律本身就需要大量pilot实验，成本往往不菲。这篇工作将拟合过程重构为预算感知的序贯实验设计，通过不确定性感知的主动选择策略，在多样基准任务上仅用约10%的总训练预算，就逼近了全实验集的外推精度。表面上看是省钱，实际却触及了实验设计的核心痛点。

论文的核心贡献在于将拟合过程转化为主动学习框架。作者通过分解目标区域的均方预测误差（MSPE），把不确定性拆分为盆地间差异和盆地内方差两部分。前者帮助全局探索不同参数盆地，后者则聚焦局部精炼预测变异。这样，每一步选择都计算候选实验对MSPE的预期减少量，并按成本归一化，真正把预算花在刀刃上。方向是对的，但现实更复杂——如果目标区域定义漂移明显，收益可能打折。

该获取函数基于目标区域的均方预测误差（MSPE）分解，将不确定性拆分为intra-basin项与inter-basin项。前者捕捉同一参数盆内的局部预测波动，后者则衡量不同盆在目标区域预测的分歧程度。引入cost penalization alpha（通常设为0.4左右）对实验成本进行归一化后，只有那些单位成本信息增益显著的run才会被优先选中。这个设计让预算从被动消耗转向主动优化。

这篇题为《Spend Less, Fit Better》的研究将Scaling Law拟合重构为预算感知的序贯实验设计问题。给定候选实验池中异质的计算成本，方法不再盲目运行所有选项，而是通过不确定性感知的主动选择，优先执行那些最能提升高成本目标区域外推准确性的实验。在覆盖预训练超参、数据分配、MoE架构等多类任务的基准上，仅用约10%的总训练预算即可接近全集拟合的性能表现。

论文提出的方法直击这一盲区。它不再追求数据量的简单堆积，而是针对低预算区对高成本目标区域的主动分配。核心是将问题转化为预算受限的序贯决策：给定候选实验池，每个实验附带不同计算成本，下一步优先选择那些最能降低目标区域预测不确定性的点。实证显示，在1%预算时该方法已在多数任务上优于随机和经典基线，到10%预算时往往逼近全数据拟合水平。

一篇最新arXiv论文《Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection》针对这一问题给出了系统性解答。作者团队将Scaling Law拟合重构为预算感知的顺序实验设计问题：在有限候选实验池中，根据各实验不同成本，选择执行序列，以最大化高成本目标区域的预测准确性。

学习率与批大小的Scaling行为通常呈现复杂非线性，且在不同模型规模或数据regime下差异显著。传统方法易在低成本区过度采样，而忽略揭示目标规律的关键点。主动选择机制通过实时更新后验不确定性，动态调整预算流向，避免了资源浪费，让每一分计算都更精准地服务于外推准确性。

这篇论文的核心贡献在于将Scaling Law拟合重构为目标导向的顺序实验设计问题。作者不是一次性耗尽预算，而是基于当前不确定性动态分配资源，优先选择那些能最大化减少目标区域预测误差的实验配置。这种主动视角直接挑战了“多跑总没错”的惯性思维，转而追求“少跑但跑对”。

论文在多个scaling任务基准上验证了效果，包括预训练超参、数据分配与架构设计等。跨8个任务、65个实例，该方法稳定优于经典基线，在仅用约10%总训练预算时，外推性能已接近全集拟合水平。部分任务甚至在1%-5%预算下，R²就达到较高水准。这组数字并非理论推演，而是实测支撑，尤其在词汇相关场景中体现出明显优势。

但现实更复杂，具体到每个站点仍有调整空间。