研究联盟称AI多语言Token消耗最高差17倍
热点事件历史事件
研究联盟称AI多语言Token消耗最高差17倍
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
人工智能语言公平研究联盟称，其研究发现AI模型处理不同语言时Token消耗量差异悬殊，在其中一个模型中最多相差17倍。 该联盟称，互联网最常用的20种语言之间Token消耗量已相差1.5至5倍，扩大到200种语言后差距进一步拉大；研究人员将由此产生的额外成本称为隐性的“分词器税”。 该研究由联盟于上月发布，结论来自联盟自身的说法。
AI 根据报道生成 · 10 天前更新
最新进展10月30日 12:25
新研究称 AI 模型不同语种 Token 消耗最高相差 17 倍报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- IT之家新研究称 AI 模型不同语种 Token 消耗最高相差 17 倍
人工智能语言公平研究联盟上月发布的研究发现，AI 模型处理不同语言时 Token 消耗量差异悬殊，在其中一个模型中最多相差 17 倍。研究称互联网最常用的 20 种语言之间 Token 消耗量已相差 1.5 至 5 倍，扩大到 200 种语言后差距进一步拉大，研究人员将由此产生的额外成本称为隐性的“分词器税”。