AI研究者如何用主动实验选择省90%预算拟合Scaling Law

提供框架式观察和可迁移判断的内容，更容易在算法迭代中保持优势。

传统随机 pilot 堆积数据看似稳健，实际在外推到百万美元级目标区域时容易失准，这篇工作提供了一个更克制的路径：不是简单省钱，而是让每一次实验都服务于高成本外推的准确性。

当然，效果也取决于基准任务覆盖和实际成本建模的准确性。如果候选池离散假设或动态预算场景扩展不足，性能可能会有波动。这一点目前行业内仍有不同声音，值得持续跟踪后续复现和开源代码的应用情况。

论文的深层贡献在于引入不确定性感知的采集策略。它将预测误差分解为盆地内方差与盆地间分歧两部分，设计成本惩罚的采集函数，优先选择那些能在有限预算内快速收窄目标区域不确定性的实验点。这有点类似多臂老虎机在预算约束下的变体，但更贴合Scaling Law的异构特性。实证结果显示，在1%预算时方法已开始领先基线，到10%预算时多数任务的外推R²已逼近全数据上限。

通过高斯混合模型近似参数后验，该方法实现不确定性感知的动态分配。每次执行新实验后更新混合后验，重新计算候选效用分数，选择分数最高的继续。这种闭环过程像投资组合管理：从低成本实验起步，逐步向高信息量倾斜。论文显示，用约10%总预算就能逼近全集的R²指标和外推准确性，这为预算紧张的AI创业团队提供了一个值得持续跟踪的实用路径——当然，现在下结论为时尚早，仍需更多真实场景验证。

在大模型训练预算规划中，Scaling Law 长期扮演着关键决策工具的角色。它帮助团队在千万甚至上亿美元级别的训练跑前，预测模型规模、数据量与性能之间的关系，从而避免盲目投入。但拟合这些规律本身却常常成为另一重成本中心：大量随机 pilot 实验累积起来，动辄消耗数百万美元预算。

在Scaling Law拟合的实践中，传统方法往往陷入高成本低效率的循环。业界常用均匀采样或经典D-optimal、V-optimal设计来构建pilot实验集，这些做法在参数估计层面有扎实理论支撑，却普遍忽略了实验成本的异构性与目标区域外推的优先级。结果是花了大量预算，收集到的数据点虽多，对高成本大规模训练场景的预测指导却有限。

具体而言，方法通过分解目标区域的均方预测误差（MSPE），将不确定性拆分为盆地间差异和盆地内方差两部分。早期阶段侧重减少不同参数盆地间的分歧，后期则聚焦缩小单个盆地内的预测变异。这样，每单位预算都能更精准地服务于最终的外推需求。在学习率与批大小、领域混合比例、Mixture-of-Experts等多样任务上，该策略持续优于随机、贪婪最便宜以及D-opt、V-opt等经典基线，常在10%预算下达到接近全集的R²水平。

大多数团队拟合 Scaling Law 时仍依赖大量随机或均匀分布的 pilot 实验，社区讨论也常停留在“数据越多越准”的直观逻辑上。论文作者观察到，这种做法忽略了非线性曲线中普遍存在的多盆地结构。同一低成本数据集，从不同参数初始化出发可能收敛到多个局部最优，这些“盆地”在低资源区域表现相似，却在外推行为上产生显著分歧，导致外推误差被低估。

这一点目前行业内仍有不同声音。数据支持主动实验选择能在基准上显著降低预算，但样本量和任务多样性有限，值得持续跟踪，现在下结论为时尚早。尤其对资源有限的团队而言，如果能有效融合MoE特有因素如shared experts，这类方法或许会让整体训练预算利用率有明显提升，反之则仍可能依赖大厂级资源。

论文的核心贡献在于将拟合过程转化为主动学习框架。作者通过分解目标区域的均方预测误差（MSPE），把不确定性拆分为盆地间差异和盆地内方差两部分。前者帮助全局探索不同参数盆地，后者则聚焦局部精炼预测变异。这样，每一步选择都计算候选实验对MSPE的预期减少量，并按成本归一化，真正把预算花在刀刃上。方向是对的，但现实更复杂——如果目标区域定义漂移明显，收益可能打折。

面对搜索引擎的每次小幅迭代，及时复盘自己的内容策略往往能避免不必要的流量下滑。