Scaling Law拟合为什么动辄百万美元？主动实验选择如何用10%预算实现近全集效果

被动响应算法的时代，正在让位于主动塑造体验的时代。

arXiv 最新论文《Spend Less, Fit Better》提出了一种预算感知的主动实验选择方法，试图将这一过程从盲目数据堆积转向智能顺序设计，尤其针对非线性 Scaling Law 中常见的 **multi-basin** 难题。

一篇最新arXiv论文直面这一痛点，将Scaling Law拟合重新表述为预算感知的顺序实验设计问题。给定有限候选实验池，且各实验成本异质，目标是在预算约束下优先选择那些最能提升高成本目标区域外推准确性的实验。论文指出，经典基线如随机选择、最便宜优先或D-opt/V-opt准则，要么忽视成本差异，要么仅关注参数不确定性，而非真正关心的目标区域预测误差。

论文的核心洞见在于重构拟合流程为budget-aware sequential design，不再追求均匀覆盖实验空间，而是让采集函数动态引导预算流向信息增益最高的run。这种uncertainty-aware策略特别契合MoE的多维度scaling——总参数N、激活参数Na、专家数E、粒度G、数据集D相互交织，成本差异巨大。主动选择机制能更精准捕捉MoE特有的关系曲线，避免传统方法在高成本target region的预测偏差。

这一设计与 Bayesian optimization 中的 acquisition function 有相似演进逻辑，却针对 Scaling Law 的外推特性做了适配。历史上许多拟合案例中，团队耗费大量预算跑了上百个点，其中不少对目标外推贡献微弱。而新方法在多个 benchmark 上，用约 10% 的总训练预算，就能接近全集拟合的性能，尤其在目标区域 R² 指标上达到 90% 以上水平。

在多样化的Scaling Law任务基准上，这种主动方法一致优于经典设计基线。它往往只需全部预算的10%左右，就能逼近完整实验集的拟合性能。这意味着原本可能耗资百万的探索过程，现在可以用十分之一的资源完成，显著降低了学习率和批大小规律的获取门槛。

arXiv这篇工作将scaling law拟合重新定义为预算感知的顺序实验设计问题。给定一个包含异构成本的候选实验池，目标不是一次性跑全集，而是通过顺序决策，优先选择那些能最大化高成本目标区域预测准确性的实验。论文在8个多样化任务、65个scaling law实例上验证，涵盖预训练超参、数据分配、MoE架构等场景，结果显示该方法在1%预算时已优于多数基线，到5%-10%预算时接近全集拟合效果。

其中一个关键创新是基于目标区域不确定性的采集函数。传统方法只关注整个参数空间的不确定性，而这篇工作强调，真正需要优化的其实是“盆内不确定性”和“盆间分歧”——前者指单个scaling趋势内部的预测方差，后者则反映不同局部最优趋势之间的分歧。他们用均方预测误差（MSPE）作为代理，采集函数则在效用分数中除以成本进行惩罚，避免高价实验被过度青睐。这一设计让低预算下的外推曲线更快收敛到真实全集效果。

对于预算有限的团队，实操流程清晰可落地。首先定义实验池与目标区域，从成本最低的几个点进行暖启动，数量大致等于Scaling Law参数个数，确保初始支撑。随后进入迭代循环：估计盆地，计算intra-basin和inter-basin效用，挑选得分最高且可负担的实验执行，更新数据集直至预算耗尽。在某些困难任务如学习率与批大小联合缩放上，主动方法在1%预算时已能进入低损失区域，而随机选择则明显滞后。

主流做法的盲区在于忽略了实验本身的异质成本，以及拟合重点应放在目标高成本区域而非均匀撒网。传统随机选择或cheapest-first策略容易陷入“盆地模糊”——不同参数组合在外推时呈现分歧趋势，却难以快速分辨哪个更可靠。这在词汇量相关Scaling上体现得尤为突出，因为vocab大小直接牵动tokenization效率和embedding矩阵优化，其成本结构与纯N-D Scaling存在明显差异。

从历史视角看，Scaling Law的演进一直伴随着变量关系的细化：从早期Kaplan工作到Tao等人强调更大模型配更大vocab的趋势，这次主动实验选择进一步把拟合本身推向预算优化的前瞻阶段。它不是简单省实验，而是让每一次pilot都精准击中“大模型该配多大vocab”的决策痛点。数据支持这个方向，但不同目标区域的收益可能存在变异，值得持续跟踪验证。

实用秘籍上下分红中麻将一元群_广西红豆社区的优化效果往往滞后显现，急于求成反而容易出错。