机器学习实验设计新突破：主动实验选择如何帮你用10%预算拟合更好Scaling Law

技术手段只是放大器，而非决定因素。

表面上，行业主流仍停留在“多跑Pilot才能可靠外推”的认知里。从Kaplan早期工作到Chinchilla的计算最优分配迭代，大家都强调需要足够多样的小规模实验来支撑曲线拟合。这一点没错，但忽略了实验成本的异质性，以及真正昂贵的大模型配置区域才是外推优先级。结果就是大量预算在低信息增益的实验上悄然流失。

多盆地问题的核心在于弱可识别方向：同一观测数据在参数空间可对应多个看似合理的拟合，但在预测空间（尤其是外推到百万美元级训练目标时）却指向不同轨迹。传统随机堆实验难以区分这些歧义，即使耗费巨资，外推误差仍可能居高不下。这暴露了主流“数据越多越准”认知的盲区——效率低下并非样本不足，而是选择机制的被动性。

这种思路本质上把“实验设计”从预处理步骤升级为LLM训练预算规划的核心环节。类似Chinchilla当年从Kaplan定律中迭代出参数-数据平衡，这次针对的是拟合过程自身。数据支持这个方向：在部分学习率与批大小相关的任务上，10%预算下的R²已能达到0.93左右，而全集拟合也不过0.91。1%预算时，某些领域已进入低损失区间。

短期来看，AI团队可在pilot阶段直接尝试论文开源代码，把Scaling Law拟合的预算占比从30%-50%压低到十分之一左右，省出的资源能投向模型迭代或数据优化。长期而言，这类预算高效技术有望降低大模型开发的进入门槛，让更多中小团队也能可靠规划训练路径，而非完全依赖巨型实验室的资金壁垒。当然，如果目标区域定义涉及更复杂的多维超参数联合外推，当前方法的稳健性仍需更多真实场景检验。

把这个思路放到更广泛的机器学习实验设计背景下看，它的潜力远不止Scaling Law本身。它与主动学习、序贯优化等技术一脉相承，却特别突出了异构成本这个现实约束。在超参数搜索中，不同组合的训练耗时和硬件需求差异巨大，类似预算感知的选择能避免大量无效试错。甚至在AI代理训练或强化学习的环境探索里，也能看到扩展空间——不再是穷举所有可能，而是智能挑出信息增益最高、成本匹配的实验。

这个思路类似主动学习在标注成本高时的样本选择策略。你不是盲目多跑实验，而是聪明地挑选最有价值的那些，让每一美元预算都精准服务于大模型外推的准确性。不是少跑实验，而是让每一次实验都击中要害。

这件事表面看是“省预算”的直观亮点。主流观点一直强调，Scaling Law拟合需要足够多的实验点才能保证高成本目标区域的外推可靠性，经典均匀采样或随机选择在预算受限时外推误差容易放大。社区初步讨论多停留在“终于不用全跑pilot”这个层面，却较少触及方法背后的机制。实际上，单纯减少实验数量并不难，难的是让每一次预算都产生最大信息增益。

主动实验选择将scaling law拟合重构为budget-aware的序贯实验设计，在给定有限候选实验池和异构成本的前提下，优先选择那些对高成本目标区域外推最有价值的试点。论文提出的uncertainty-aware方法通过分解参数后验为多个局部最优盆的混合分布，将目标区域预测误差拆分为intra-basin和inter-basin不确定性，再计算每个候选的效用分数并除以成本归一化，从而实现智能预算分配。

在Scaling Law拟合领域，传统方法往往面临高昂的预算压力。大模型训练规划高度依赖这些律则，但收集足够pilot实验来拟合参数本身就可能消耗百万美元级别资源。arXiv最新论文《Spend Less, Fit Better》将这一过程重构为预算感知的序列实验设计问题：在异构成本的候选实验池中，智能选择那些对高成本目标区域外推最有价值的run。

大多数从业者讨论MoE scaling law时，焦点落在其解耦总参数与计算量的优势上，以及专家激活比、粒度等配置如何放大效率杠杆。相关实证研究确实表明，这些因素与compute budget呈现可预测的power-law关系。

经验汇总的现状，更多是机会与挑战并存。