CPU 资源太满塞不下，传苹果研究将 LLM 存在 NAND

▼

为了发展自家生成式 AI，苹果一直在测试大型语言模型（LLM），但苹果同时要思考的是，要如何将 LLM 塞进手机与笔电。现在有消息称，LLM 对 CPU 与记忆体资源负荷太重，苹果正尝试将 LLM 存在 NAND快闪记忆体，以实现多装置轻松存取的目标。

一般情况 LLM 需要 AI 加速器与较高 DRAM 储存容量。《TechPowerUp》报道，苹果努力将 LLM 技术导入记忆体容量有限的设备；苹果发表论文，探讨如何将 LLM 导入记忆体容量有限装置（如 iPhone），苹果研究员开发用快闪记忆体储存 AI 模型资料的技术。

论文指出，苹果 iPhone 与 Mac 有大量可用快闪记忆体，透过称为“视窗化”技术绕过限制视窗，让资料更有效分组，使 AI 模型更快从快闪记忆体读取资料，并加速理解力。AI 模型也会重复使用处理过数据，减少提取快闪记忆体资料的需求，让整个处理过程更快。

上述两种方法都使 AI 模型运行速度达 iPhone 可用 RAM 大小的两倍，使标准处理器速度提高五倍、图形处理器速度提高 25 倍。

有大量证据证明，苹果相当重视 AI；首先是自家聊天机器人（Apple GPT）。据传明年 iPhone 16 系列会搭载升级麦克风，虽然对苹果成本提高不少，但可升级语音输入功能，对 Siri 执行多项任务非常必要。

另有传言，某种形式生成式 AI 明年发表时，会整合至 iOS 18 作业系统；即便现在苹果技术还落后 OpenAI、Google、亚马逊等公司，但这技术差距可能会在 2024 年大幅缩小。

• Apple Wants to Store LLMs on Flash Memory to Bring AI to Smartphones and Laptops

（首图来源：Image by fabrikasimf on Freepik）

▼

   特别声明    本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。