用10%预算拟合Scaling Law：新论文实证结果解读

这也反映出搜索引擎对内容价值的重视程度在持续提升。

长期来看，这类预算高效的Scaling Law拟合技术，有望让Scaling Law在更多资源受限场景落地。过去只有大厂能轻松玩转的规划工具，现在中小团队和开源社区也能用得起，整个大模型训练的经济模型可能会因此发生微妙变化。

当然，这一路径也存在适用边界。方法假设候选池和成本可预估，且目标区域明确定义，对于完全开放式探索或早期成本估算困难的场景，仍需结合人工判断。但在大多数工业级大模型规划中，其预算效率优势已足够显著。值得持续跟踪的是，当实验池规模进一步扩大或成本异构性更极端时，这一主动选择框架的表现是否还能维持当前水准，现在下结论为时尚早。

Scaling law拟合本身就可能耗资百万美元以上，传统随机采样或经典实验设计在低预算下表现尤为低效。论文基准测试显示，盲目堆叠实验的做法在10%预算时，外推误差依然显著，而大多数从业者还抱持“多跑几个总比少跑好”的认知。现实中，花钱越多并不等于拟合越准，关键在于把有限预算导向最具信息增益的点位。这个剪刀差说明一切。

主动实验选择则提供了一条Spend Less, Fit Better的路径。这篇论文将Scaling Law拟合建模为budget-aware sequential experimental design，给定有限候选实验池与异构成本，目标是最大化高成本目标区域的外推精度。uncertainty-aware方法通过不确定性引导预算，顺序挑选最有价值的run。

这一点目前行业内仍有不同声音。主动实验选择能否在所有Scaling Law景观中保持稳健，还需更多真实算力环境下的长期跟踪验证，但其在低预算区间展现的效率提升，已为中小团队打开了一扇更理性的决策窗口。

主动实验选择的核心机制是目标感知的不确定性分解。他们将目标区域的均方预测误差拆分为盆地内部方差和盆地间分歧，前者反映单个趋势的置信度，后者捕捉不同盆地对外推的争议。基于此设计的采集函数为每个候选实验打分，优先挑选那些单位成本下能最大化减少目标区域不确定性的配置。数据支持这个方向，但样本量和任务异质性仍需更多验证。

论文的核心洞见在于，把scaling law拟合从“跑多少实验”转向“聪明选哪些实验”。其提出的uncertainty-aware采集函数，会优先锁定那些能降低目标高成本区域不确定性、或帮助区分不同外推basin的实验点。这一设计在MoE上显得特别贴合，因为MoE scaling涉及总参数N、激活参数Na、专家数E、粒度G等多维度，成本分布极不均匀，主动机制能更精准捕捉激活比与预算间的power-law，以及粒度带来的非线性调制。

传统“多跑总没错”的逻辑在高成本时代显得越来越昂贵，而主动实验视角提供了一个锐利的替代：通过不确定性感知的顺序分配，团队能在 pilot 阶段更早锁定可靠趋势，减少无效开支。当然，如果目标区域成本极高或实验池异质性强，收益会更明显；反之则需要结合具体任务微调方法假设。值得持续跟踪的是，这种转变能否在实际百万美元级训练跑中稳定复制，现在下结论仍为时尚早。

操作层面，这套方法通常从少量低成本warm-start实验起步，然后迭代更新：在每一步根据当前数据估计盆分布，计算剩余候选得分，选择预算允许内得分最高的实验执行，更新数据集并重复直到预算耗尽。这种序贯方式确保预算始终流向当前最能减少目标区域不确定性的实验，而非一次性盲目分配。论文基准显示，在多样scaling-law任务上，它用约10%预算即可接近全集拟合性能。

整个流程采用 sequential experimental design 策略。从少量低成本实验 warm-start 开始，迭代更新数据集和盆近似估计，然后对剩余候选打分，选择预算内得分最高的 run 执行并加入数据。论文中 alpha 通常设在 0.4 左右，平衡了成本敏感性与信息获取。早期迭代更侧重分辨盆间差异，后期则细化盆内精度，这种动态优先级让资源真正流向决策高影响区域。

值得持续跟踪，现在下结论可能还太早。