Stability AI 发表 1.6B 轻量新模型，测试表现胜过微软 Phi-2

▼

对大型语言模型（Large Language Models，LLM）而言，大小固然重要，会影响模型运作方式。各家 AI 公司有朝向小型语言模型趋势加以开发，降低硬件运算门槛。

AI 新创 Stability AI 以图片生成软件 Stable Diffusion 而闻名，近日新发表一款参数量较小的模型 Stable LM 2 1.6B。

Stable LM 是 Stability AI 在 2023 年 4 月首次推出的文字生成模型，拥有 30 亿参数和 70 亿参数两种版本，以 16 亿参数训练而成的 Stable LM 2 1.6B 是 Stability AI 继上周推出 Stable Code 3B 之后，在 2024 年推出的第二款模型。

紧凑而高效的Stable LM 2 1.6B 目的在于降低门槛，让更多开发者能够使用包含 7 种语言资料（英语、西班牙语、德语、义大利语、法语、葡萄牙语、荷兰语）的生成式 AI。

“一般而言，使用相似数据和训练方法来训练大模型，往往比小模型表现更好”，Stability AI 语言模型团队负责人 Carlos Riquelme 向国外媒体 VentureBeat 表示，“随着时间演进，新模型开始做到更好的演算法并接受更多、更高品质的数据训练，我们有时会看到最近小模型表现优于旧的大模型。”

Stability AI 指出，Stable LM 2 1.6B 在大多数基准测试都优于其他参数量低于 20 亿的模型，包括微软 Phi-2（2.7B）、TinyLlama 1.1B、Falcon 1B。较小的 Stable LM 甚至能够超越一些大模型，包括自家早期的 Stable LM 3B。

不过，较小的 Stable LM 2 1.6B 因为模型大小确实存在一些缺点。Stability AI 提醒开发者，由于规模小、低容量等特性，Stable LM 2 1.6B 同样可能会出现高幻觉率或不真实、有毒内容等常见问题。

Stability AI 会员已能存取Stable LM 2 1.6B 用于商业和非商业用途，并且能在 Hugging Face 平台测试这款模型。

• Stability AI unveils smaller, more efficient 1.6B language model as part of ongoing innovation

（首图来源：Stability AI）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。