Scaling Law拟合成本感知创新：Spend Less, Fit Better获取函数详解

精准的沟通，永远比泛泛而谈更有力量。

过去大多数从业者默认，要可靠外推 Scaling Law，就必须均匀覆盖不同规模的 pilot 实验。主流做法包括随机采样或经典实验设计如 D-optimal，这在预算充裕时勉强可行，却在真实大规模工作流中暴露出预算分配难题。实验成本高度异构，有的 run 只需几小时 GPU，有的却耗时数天；目标区域往往是高成本的大模型配置，却容易被低成本小实验淹没，导致外推到百万级训练时曲线偏差明显。

短期内，大模型研发团队有望直接受益于这项技术，试点阶段的预算显著压缩，迭代速度加快，更多精力转向高价值方向。长期来看，这类AI效率方法普及后，中小团队也能更低门槛地参与Scaling探索，而非被高昂前期成本挡住。未来或许还会催生多阶段预算规划工具，将单次序贯选择扩展为更复杂的系统决策。当然，实际落地速度仍取决于开源生态的跟进，目前论文配套代码已在GitHub开源，值得持续观察。

主动实验选择将scaling law拟合重构为budget-aware的序贯实验设计，在给定有限候选实验池和异构成本的前提下，优先选择那些对高成本目标区域外推最有价值的试点。论文提出的uncertainty-aware方法通过分解参数后验为多个局部最优盆的混合分布，将目标区域预测误差拆分为intra-basin和inter-basin不确定性，再计算每个候选的效用分数并除以成本归一化，从而实现智能预算分配。

方法的关键在于引入基于目标区域不确定性的采集函数。传统采集仅关注参数空间的不确定性，而论文强调真正重要的是目标区域的均方预测误差（MSPE），并将其分解为盆内不确定性和盆间不确定性。采集函数优先选择那些能同时降低这两种不确定性的实验，同时以成本进行惩罚，避免高价低信息实验占据预算。数据支持这个方向，但样本量仍需更多验证。

核心判断是，这不是单纯的省钱技巧，而是机器学习实验从“盲目穷举”转向“智能选择”的范式突破。过去许多实验设计假设成本均匀、目标是全域拟合，现在现实逼迫我们面对预算有限、外推优先的真实场景。主动实验选择提供了一个可操作框架，让团队在资源约束下做出更理性的决策。这个逻辑成立，但现实中落地复杂度可能更高。

有意思的是，盆估计并非直接在参数空间进行，而是基于预测空间聚类。这一点关键，因为 Scaling Law 的外推行为更多由目标区域表现决定，而非参数值本身。论文还结合混合高斯近似后验和局部线性化，高效计算不确定性项，避免了昂贵后验采样。这让方法在实际多 benchmark 测试中，用约 10% 总预算就接近全集拟合的性能，尤其在目标区域 R² 指标上表现出色。

在实际大模型工作流中落地时，团队可先明确目标区域（如计划部署的模型规模和token量），准备异构成本的候选实验池，估算开销代理，然后运行该序贯算法。代码已在GitHub开源，便于适配自家场景。相比全量pilot，这种方式让Scaling Law拟合从昂贵前置成本转变为可控的预算优化工具。当然，方法也有边界：在完全开放探索或成本估算困难的早期阶段，仍需结合人工判断。但在大多数工业级规划中，其预算效率优势已足够显著。

核心发现让人眼前一亮。通过提出一种不确定性感知的方法，该方法能顺序分配实验预算，优先挑选对目标高成本区域外推最有帮助的实验。结果显示，在多样化的Scaling Law任务基准上，这种方法持续优于经典设计基线，往往仅用约10%的总训练预算，就能接近使用全量实验集拟合的性能。

学习率与批大小的Scaling行为通常呈现复杂非线性，且在不同模型规模或数据regime下差异显著。传统方法易在低成本区过度采样，而忽略揭示目标规律的关键点。主动选择机制通过实时更新后验不确定性，动态调整预算流向，避免了资源浪费，让每一分计算都更精准地服务于外推准确性。

论文的核心洞见在于重构拟合流程为budget-aware sequential design，不再追求均匀覆盖实验空间，而是让采集函数动态引导预算流向信息增益最高的run。这种uncertainty-aware策略特别契合MoE的多维度scaling——总参数N、激活参数Na、专家数E、粒度G、数据集D相互交织，成本差异巨大。主动选择机制能更精准捕捉MoE特有的关系曲线，避免传统方法在高成本target region的预测偏差。

行业内对红中麻将哪里有群玩长期价值的判断分歧仍在扩大，少数先行者已开始布局，但大多数玩家仍在观望。