百度开源文心5.5 Flash Base：2800亿参数MoE、支持百万级上下文

百度于11月5日正式开源基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），采用MoE架构，总参数量2800亿，每个Token激活140亿参数。模型使用33.5万亿个Token完成预训练，预训练上下文长度最高128K，微调与推理阶段支持最长100万Token上下文。该模型围绕效率在注意力机制、专家路由及训练目标等环节做了系统性优化。