Meta 今日凌晨发布旗下最新Llama 4系列开源AI 模型,包含Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth。
Meta 表示,这些模型都经过了“大量未标注的文本、图像和视频数据”的训练,以使它们具备“广泛的视觉理解能力”。
“今天标志着原生多模态人工智能创新的新纪元的开启。我们推出了首批 Llama 4 模型:Llama 4 Scout 和 Llama 4 Maverick——这是我们迄今为止最先进的模型,也是多模态领域中同类最佳的模型。”
具体来看:
Llama 4 Scout
•170 亿活跃参数模型,配备 16 个专家。
•行业领先的上下文窗口,可处理 1000 万标记。
•在广泛认可的多项基准测试中,表现优于 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1。
Llama 4 Maverick
•170 亿活跃参数模型,配备 128 个专家。
•在图像定位方面处于行业顶尖水平,能够将用户提示与相关的视觉概念对齐,并将模型响应锚定在图像的特定区域。
•在广泛认可的多项基准测试中,表现优于 GPT-4o 和 Gemini 2.0 Flash。
•在推理和编码方面,与 DeepSeek v3 取得了相当的结果,而活跃参数仅为后者的一半。
•在性价比方面,其聊天版本在 LMArena 上的 ELO 得分为 1417。
Meta表示,这些模型之所以成为其迄今为止最好的模型,得益于从 Llama 4 Behemoth 中进行的知识蒸馏,而 Llama 4 Behemoth 是其迄今为止最强大的模型。Llama 4 Behemoth 仍在训练中,目前在专注于 STEM 的基准测试中,表现优于 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。
Llama 4 系列模型是该公司旗下首批采用混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高。
“混合专家架构”是将数据处理任务分解为子任务,然后将它们委派给更小的、专门的“专家”模型。(三言科技)