
纽约大学与 Meta FAIR 等机构的研究团队在 11 月 12 日公布论文《Unbundling Multimodal Vision Encoding》(arXiv:2611.17334)。作者包括 Ellis Brown、Chris Hoang、Mengye Ren、Saining Xie 和 Hu Xu 等人。论文把常见视觉编码器拆成三个设计选择:是否需要上游预训练带来的视觉先验、是否需要只服务视觉 token 的专用容量,以及这些容量是否必须放在多模态主干之前(pre-fusion)。
团队在统一数据、统一架构、并按全生命周期算力对齐的条件下,从零训练骨干规模从 0.6B 到 6.4B 的模型,在视觉问答和语言基准上做对照。论文的主要结论是:单独的编码器预训练并非必要,从零与主干一起训练的编码器可以达到与预训练编码器相当的水平;真正关键的是专用视觉容量,即使把编码器参数加到主干上,无编码器方案在视觉理解上仍然落后;不过这些容量可以放到主干最前面的层里(in-fusion),效果与前置编码器相当,并且有可能降低首 token 时间。论文还写到,这些结论在把编码器预训练算力视为「免费」、以及从已预训练的 1.7B 语言模型出发时仍然成立。以上均为论文陈述,不是我们自行复现。配套说明页在 unbundling.github.io。
出处:
- 收藏支持反对

结论很反直觉,也很提气:视觉编码器不一定非要先预训练,真正关键的是专用视觉容量。这等于给 “编码器必须先预训练” 的共识拆了台。但注意前提——统一数据、统一架构、按全生命周期算力对齐,从零训练,结论成立的代价是训练成本本身;in-fusion 能降首 token 时间,对实时应用是实打实的收益。值得追问的是规模上限:论文只做到 6.4B,结论在更大规模、更杂的数据上还站不站得住,得等别人复现。

论文里「不必单独预训练」,通常等于「在我们的实验设定下不必」
我一般就看两条:那个「专用容量」占多少,换成别的 backbone 还成不成立