获辉达、微软策略投资,信奉开源!法国独角兽 Mistral AI 有何来头?
▼
除了开发 ChatGPT、受到微软大力支持的 OpenAI,AI 产业还有另一欧洲新星熠熠生辉,那是来自法国的 Mistral AI。
ChatGPT 掀起全球 AI 热潮后,AI 新创也如雨后春笋般迅速发展。总部位于巴黎、成立还不到 1 年的 Mistral AI,打造能与 OpenAI、Anthropic 等公司匹敌的开源 AI 模型,并在短时间内募得大笔资金,跃升欧洲独角兽之一,获得市场高度关注。
技术开发者起家,短时间变身独角兽
Mistral AI 去年 5 月注册成立公司,创始团队都曾参与大型语言模型开发,共同创办人暨执行长 Arthur Mensch 曾任 Google DeepMind 研究员,是 Flamingo、Chinchilla 模型核心贡献者;另两名创办人 Timothe Lacroix(Mistral AI 技术长)和 Guillaume Lample(Mistral AI 首席科学家)曾是 Meta 巴黎 AI 实验室研究员,对模型推理、预训练和模型嵌入有深厚研究,发表过多篇重要论文,更是 Llama 和 Llama 2 的核心贡献者。
他们三人有机会在各自领域累积深厚的技术专业知识,同时待过全球最具规模的 AI 实验室,开发最先进 AI 和机器学习应用,也为 Mistral AI 铺路。
Mistral AI 成立四周还没有产品,团队也只有六人,凭着七页简报拿到 1.13 亿美元种子轮融资,是欧洲有史以来最大笔种子轮,因而声名大噪。这轮由创投公司 Lightspeed Venture Partners 领投,还有法国、德国、义大利、比利时、英国投资方的资金挹注,公司估值来到 2.6 亿美元。
“我们可以看到这项技术去年开始真正加速”,Arthur Mensch 获得种子轮融资受访表示,是指 OpenAI 藉 GPT 模型取得市场,而 Mistral AI 正要起步。
之后不到六个月,Mistral AI 完成 4.15 亿美元 A 轮融资,这次由创投 Andreessen Horowitz(a16z)领投,公司估值达到 20 亿美元,成为新创独角兽。除此之外,NVIDIA 和微软两大巨头先后成为投资人和合作伙伴,Mistral AI 可以取得 NVIDIA 最新技术,也能透过 Microsoft Azure 提供模型和服务给更多客户使用。
▲ Mistral AI 三名创办人,左起 Guillaume Lample、Arthur Mensch、Timothe Lacroix。(Source:TechCrunch)
Mistral AI 坚持走开源路线
Mistral AI 去年 9 月推出第一个 7B 参数模型“Mistral 7B”,比计划发表时程快了 3 个月。Mistral 7B 在所有基准测试中均优于 Llama 2 13B,编写程式码方面也接近 CodeLlama 7B 性能。到了 12 月推出“Mixtral 8x7B”,是采具有开放权重的 SMoE(Sparse Mixture of Experts)模型,能够处理 32K token 上下文,大多数基准测试表现优于 Llama 2 70B 和 GPT 3.5。
值得一提的是,Mistral AI 采取 MoE(Mixture of Experts Models,混合专家模型)的 Transformer 模型在开源 AI 社群引起讨论。MoE 是把复杂的分析预测任务分割成更小、容易处理的子任务,每个子任务由符合特定领域的专家加以处理,最终产生结果。如 Mixtral 8x7B 与具有相同参数量的模型相比,推理过程中只使用其中一部分,于是能有更快的推理速度。
Mistral AI 如原先承诺,在今年 2 月底发表新一代大型语言模型“Mistral Large”以及聊天机器人“Le Chat”。根据多项基准测试下,Mistral Large 仅次于 GPT-4、排名第二,同时提供大众透过 Le Chat 这个对话入口体验 Mistral Large 模型。
Mistral AI 商业模式看起来越来越像 OpenAI,同样透过计量付费的 API 来提供 Mistral Large。但与 OpenAI 最大不同之处在于,Mistral AI 成立之初即坚持走开源路线。
“我们认为开放的生成式 AI 方法是必要的,在塑造我们未来技术,社群支持的模型开发是对抗审查和偏见最为可靠的途径”,Arthur Mensch 认为,模型开源下,开发者可以完全控制为其应用程式提供动力的 AI 引擎,调整模型大小、延迟并且控制成本,以适应特定任务。
Mistral AI 使命是引领开源模型的革命,现在藉 Mistral Large 模型更能为客户提供 AI 运算动力,这家新创后势成长不容小觑。
(首图来源:Mistral AI)
▼
特别声明 本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。