Mistral AI

七十亿参数打破认知

Mistral AI 由前 DeepMind 和 Meta 研究员 Arthur Mensch、Guillaume Lample、Timothée Lacroix 于 2023 年 4 月创立，成立仅四个月就拿到了 1.05 亿欧元种子轮，创下欧洲创业史上最大种子融资纪录。

2023 年 9 月，公司在没有任何发布会的情况下，直接在 X 上发了一条磁力链接，附带 Mistral 7B 的模型权重——这个 70 亿参数模型在大多数基准上打平了 LLaMA-2 13B，让整个开源社区沸腾。Mistral 的技术路线是「滑动窗口注意力」（SWA）和分组查询注意力（GQA），在推理效率上比同级别模型有明显优势。[1]

Mixtral 与商业化

2023 年 12 月，Mistral 再次以「神秘磁链」方式发布 Mixtral 8x7B，这是一个稀疏混合专家模型，实际运行时只激活 130 亿参数，但效果接近 GPT-3.5 Turbo，速度更快，成本更低。开源社区在 Hugging Face 上对其进行了大量量化和微调。

商业端，Mistral 推出 La Plateforme API，以及闭源的 Mistral Large（与 Claude 2、GPT-4 竞争），并获得 Microsoft Azure 独家分发协议。2024 年估值达到 60 亿美元。欧盟对其开源策略表示支持，Mistral 也积极参与欧洲 AI 法案的政策讨论。