量子位· 量子位的朋友们·· 15 小时前AI 评分69
百度开源文心 5.5 Flash Base 模型,多项基准测试刷新同尺寸 SOTA
百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA
AI 导读
百度正式开源最新基座模型文心 5.5 Flash Base(ERNIE 5.5 Flash Base),采用 MoE 架构,总参数量 2800 亿,激活 140 亿参数,预训练使用 33.5 万亿 Token。该模型在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型 SOTA 表现,并在架构上进行了注意力机制与专家路由等多项创新优化。
来源:量子位 · qbitai.com