百度开源文心5.5 Flash Base基座模型
热点事件历史事件
百度开源文心5.5 Flash Base基座模型
2 篇报道2 个报道来源4 天前更新
先了解这件事
AI 综述
百度于11月5日正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。该模型采用MoE架构,总参数量2800亿,每个Token激活140亿参数,预训练使用33.5万亿个Token。 据量子位报道,该模型在多个基准测试中刷新了同尺寸模型的SOTA成绩。 据Horizon日报报道,该模型预训练上下文长度最高128K,微调与推理阶段支持最长100万Token上下文;模型围绕效率在注意力机制、专家路由及训练目标等环节做了系统性优化。
AI 根据报道生成 · 2 天前更新
最新进展11月6日 05:41
百度开源文心5.5 Flash Base:2800亿参数MoE、支持百万级上下文报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- Horizon 日报百度开源文心5.5 Flash Base:2800亿参数MoE、支持百万级上下文
百度于11月5日正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数量2800亿,每个Token激活140亿参数。模型使用33.5万亿个Token完成预训练,预训练上下文长度最高128K,微调与推理阶段支持最长100万Token上下文。该模型围绕效率在注意力机制、专家路由及训练目标等环节做了系统性优化。
11月5日
- 量子位百度开源文心5.5 Flash Base基座模型,多基准刷新同尺寸SOTA
11月5日,百度正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数量2800亿,每个Token激活140亿参数,使用33.5万亿个Token完成预训练。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1611月6日 06:00
- 近 24 小时变化
- -71%
05101520
11月6日12:0011月7日12:0011月8日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。