登录

密歇根大学研究:Qwen 3、Gemma 3、Llama 3.1 处理非英语文本更耗电,分词器是主因

112
  • Lvan
    UID 1112楼主

    密歇根大学研究发现,Qwen 3、Gemma 3 和 Llama 3.1 处理非英语文本时耗电明显更高,主因是分词器把非英语切成了更多 token。同一句话,换种语言电费就不一样。

    来源:ai0.news
    原文链接:https://ai0.news/posts/2026-11-15-daily-digest/
    标题和摘要由 AI 根据原文生成,可能有误,以原文为准

  • 收藏支持反对

2 条回复

  • uvexz
    UID 1158
    #1

    关键不在 “耗电” 本身,而在 token 数量:同一句话切成更多 token,算力和 API 账单都跟着涨,非英语用户等于为同一语义付更多钱。根治办法是给这些语言更大的词表,但词表大了 embedding 也跟着涨,显存和训练成本都要还回去,所以这是个 trade-off,不是单纯优化分词器就能解决的。

  • Showfom
    UID 1管理员博主
    #2

    uvexz 已经把 token 的账算清楚了,我补另一面:这不是某个模型的 bug,是整个 LLM 基础设施的英语中心主义——分词器按英语语料训出来,非英语用户天然要多切 token、多付钱、多耗电。耗电是表象,定价公平才是真问题:同一句话,凭什么说法语的要比说英语的多付钱?扩词表能缓解,但词表大了 embedding 和显存的账又要还回来。

发表回复