Mixtral 8x7B

Mistral AI开源的稀疏MoE大模型，8个专家子模型组合，470亿参数媲美Llama 2 70B，推理成本大幅降低。

访问Mixtral 8x7B官网

工具介绍

一、项目简介 Mixtral 8x7B是Mistral AI开源的稀疏混合专家（MoE）大模型，由8个70亿参数专家子网络组成，实际推理时仅激活2个专家。模型总参数量约470亿，但性能媲美Llama 2 70B，推理成本与延迟大幅降低，验证了MoE架构在效率与性能之间的优秀平衡。 二、核心特性稀疏MoE架构：8专家仅激活2个，高效推理。性能媲美70B：470亿参数达到更大模型水平。多语言支持：英语、法语、德语等。开源商用：Apache许可，生态活跃。三、典型应用 高效大模型部署、通用AI、代码生成、成本敏感场景。。 四、获取方式 项目权重托管于HuggingFace（mistralai/Mixtral-8x7B-v0.1）。。

功能特点

• 稀疏专家混合架构 激活参数仅约 13B 多语言能力强

标签：Mixtral MoE 专家混合 LLM

分类：开源大模型