跳到正文
The Decoder· Matthias Bastian·· 16 天前AI 评分69

百度开源 ERNIE 5.5 Flash Base 基座模型,280B 参数 MoE 架构

Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model

AI 导读

百度发布开源基座模型 ERNIE 5.5 Flash Base,采用 mixture-of-experts 架构,总参数 280B、每次输入激活 14B。模型在 33.5T tokens 上预训练,训练上下文为 128,000 tokens,设计上可在微调与推理时支持最长 1M tokens 上下文。

来源:The Decoder · the-decoder.com