跳到正文
IT之家·· 14 小时前AI 评分71

百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型,总参数 280B

AI 导读

百度文心大模型发布 ERNIE-5.5-Flash-Base 高效基座模型并开放预训练终点权重。该模型为稀疏 MoE 语言模型,总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零完成预训练,训练上下文为 128K,微调与推理支持 1M tokens 上下文。

来源:IT之家 · ithome.com