Bluesky：Elizabeth Wood, PhD (@lizbwood.bsky.social)· Elizabeth Wood, PhD·· 2026-08-09AI 评分40
模型消融实验：线性模型在该数据上饱和，需大 Transformer 才能扩展
On model ablations: Linear models plateau on this data (dashed), even with foundation model representations (colors). We needed big transfo…
AI 导读
模型消融实验显示，线性模型在该数据上即使使用基础模型表征也会饱和（虚线），只有大 Transformer（实线）才能实现扩展。相关讨论指出，设计数据生成与训练的结合可产生稳健的缩放定律，数据越多，预测在多个数量级上稳定变好。
阅读原文
来源：Bluesky：Elizabeth Wood, PhD (@lizbwood.bsky.social) · bsky.app