异构实验成本下，Scaling Law拟合如何用10%预算实现接近全集效果？

在撰写“免押金1元1分跑的快群”_免押金1元1分跑的快群贝壳找房时，加入具体数字或时间限定词，常常能提升点击意愿。

在多样化的Scaling Law任务基准上，这种主动方法一致优于经典设计基线。它往往只需全部预算的10%左右，就能逼近完整实验集的拟合性能。这意味着原本可能耗资百万的探索过程，现在可以用十分之一的资源完成，显著降低了学习率和批大小规律的获取门槛。

最近arXiv上的一篇论文直指这一痛点。研究者将Scaling Law拟合重构为预算感知的序贯实验设计问题：在候选实验池中，每个实验成本异质，目标是顺序选择执行哪些实验，以最大化高成本目标区域的外推准确性。这篇工作提出不确定性感知的主动选择方法，在多样基准任务上，仅用约10%的总训练预算，就能接近全实验集的性能表现。

为什么这种方法对学习率和批大小这类超参数特别有效？因为它们的Scaling行为常呈现非线性，且在不同模型规模或数据regime下差异显著。传统方法容易陷入低成本区域的局部最优，而主动选择通过实时评估不确定性，避免了盲目浪费。举例来说，当批大小增大时学习率的次线性调整规律，往往需要在高计算点上验证；主动策略能更早锁定那些关键验证实验，减少无效GPU小时消耗。

在构建的多样化基准上（涵盖8个任务、65个Scaling Law实例），该方法用约10%的总预算即可接近全实验集的外推性能，显著优于随机、贪婪或经典最优设计基线。短期内，这为大模型团队的pilot迭代提供了实用路径，能更快锁定可靠趋势，减少无效支出。长期看，它可能推动行业从“堆实验”转向“智能选实验”，重塑AI训练资源的分配逻辑。

论文的核心突破在于主动实验视角。它把拟合视为预算受限的顺序设计，通过不确定性感知的采集函数，动态分配实验资源。作者先在当前数据上多次refit得到不同盆地，然后在预测空间进行basin consolidation，合并外推行为相似的模式。再将目标区域的预测误差分解为intra-basin方差与inter-basin分歧，据此为每个候选实验打分，优先选择那些性价比最高、能有效收窄歧义的配置。

但这里存在一个被普遍忽视的盲区：大家默认pilot实验只是常规预处理，却很少正视MoE场景下成本的高度异质性——不同专家数、激活比例下的算力差异极大，盲目全量跑很容易把有限预算浪费在低信息增益的点上。

论文提出了一种不确定性感知的主动选择方法。这种方法优先挑选能最大化目标高成本区域外推准确性的实验，而非简单降低整体预测误差。核心技巧是用混合高斯近似建模参数拟合的不确定性，将其分解成不同“盆地”——这些盆地代表不同的外推趋势。早期阶段重点解决全局“盆地模糊”，后期则精炼局部相关趋势。

在大模型训练预算规划中，Scaling Law 长期扮演着关键决策工具的角色。它帮助团队在千万甚至上亿美元级别的训练跑前，预测模型规模、数据量与性能之间的关系，从而避免盲目投入。但拟合这些规律本身却常常成为另一重成本中心：大量随机 pilot 实验累积起来，动辄消耗数百万美元预算。

实证结果显示，在多样化的Scaling Law任务上，该方法用10%左右预算就接近全集性能，稳定优于经典设计基线。这为AI实验室提供了直接可操作的路径，开源代码已公开。短期内，它能缓解Pilot阶段的预算压力；长期看，则推动Scaling实践从经验堆砌转向智能分配，尤其对资源有限的中小团队。

序列决策流程从少量低成本实验warm-start开始，逐步更新数据集和盆的近似估计。每次选择后加入新数据，重新打分剩余候选。这种迭代方式与Bayesian optimization中的acquisition function演进有相似逻辑，却针对Scaling Law的外推特性做了适配。历史上不少团队花百万级预算跑上百个点，结果许多实验对最终决策贡献寥寥，而这套方法在多个benchmark上用约10%预算就能逼近全集拟合性能。

区别在于，这次的时间窗口可能比上一次技术周期短得多。