跳到正文
热点事件历史事件

百度开源文心5.5 Flash Base基座模型

2 篇报道2 个报道来源4 天前更新

先了解这件事

AI 综述

百度于11月5日正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。该模型采用MoE架构,总参数量2800亿,每个Token激活140亿参数,预训练使用33.5万亿个Token。 据量子位报道,该模型在多个基准测试中刷新了同尺寸模型的SOTA成绩。 据Horizon日报报道,该模型预训练上下文长度最高128K,微调与推理阶段支持最长100万Token上下文;模型围绕效率在注意力机制、专家路由及训练目标等环节做了系统性优化。

AI 根据报道生成 · 2 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. Horizon 日报
    百度开源文心5.5 Flash Base:2800亿参数MoE、支持百万级上下文

    百度于11月5日正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数量2800亿,每个Token激活140亿参数。模型使用33.5万亿个Token完成预训练,预训练上下文长度最高128K,微调与推理阶段支持最长100万Token上下文。该模型围绕效率在注意力机制、专家路由及训练目标等环节做了系统性优化。

11月5日
  1. 量子位
    百度开源文心5.5 Flash Base基座模型,多基准刷新同尺寸SOTA

    11月5日,百度正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数量2800亿,每个Token激活140亿参数,使用33.5万亿个Token完成预训练。

本事件热度走势

可比范围当前
3
可比范围峰值
1611月6日 06:00
近 24 小时变化
-71%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。