Apple Foundation Models · 技术报告 + 名词解释

Apple Foundation Models
三代 技术谱系

从 2024 技术奠基,到 2025 架构创新集中爆发,再到 2026 稀疏激活与五模型家族——以架构创新、压缩、稀疏化三条正交主线,把 20B 模型塞进 iPhone。

开始浏览 ↓ 直击 IFP 突破
0
代演进 · 2024→2026
0B / 0B
总参数 / 激活(Core Advanced)
0
第三代模型家族
0%
PT-MoE 同步开销下降
三代演进

三年时间线:奠基 → 爆发 → 突破

Apple 在模型压缩上的投入远超同行,且是战略必需——设备端推理是 Apple 的北极星指标。

2024
第一代 · 技术奠基
  • arXiv 2407.21075 首份技术报告
  • On-Device ~2.73B,GQA 24:8、RoPE base=500k
  • 4-bit 调色板量化 3.7 bpw + 适配器恢复
  • Soft-Top-K 剪枝(FFN 隐藏维)
  • iTeC + MDLOO:无 Critic 的 RLHF
2025
第二代 · 架构创新爆发
  • arXiv 2507.13575 四项架构突破
  • KV-cache 共享(TTFT/内存 −37.5%)
  • PT-MoE(同步开销 −87.5%)
  • 2-bit QAT + ASTC 3.56 bpw 硬件解压
  • 64 专家 MoE 上循环 + 蒸馏
  • RLOO 异步 RLHF
2026
第三代 · 稀疏激活突破
  • AFM 3 五模型家族
  • IFP 稀疏激活:20B 存 NAND,1–4B 激活
  • PT-MoE 增强版 + Cloud Pro(NVIDIA)
  • ADM 3 Cloud 图像生成
  • 2-bit QAT + IFP 双维度压缩
  • 稀疏边界从 DRAM 扩到 NAND(质变)
第三代 · AFM 3

五模型家族:云端协同,各司其职

2026 年第三代从 2 个模型扩展到 5 个,首次在基础模型推理中引入非 Apple 硬件(NVIDIA GPU + Google Cloud)。

端侧

AFM 3 Core

3B dense

文本主力,质量 step up。偏好率 45.6% vs 23.3%。

端侧旗舰

AFM 3 Core Advanced

20B / 1–4B 激活

原生多模态,IFP 架构。TTS MOS 4.15(+0.28)。

服务器

AFM 3 Cloud

PT-MoE

多模态推理主力。偏好率 64.7% vs 8.7%。

服务器最强

AFM 3 Cloud Pro

NVIDIA

复杂推理 / Agent。文本 +10%、图像 +14%。

图像

ADM 3 Cloud

Gen

图像生成/编辑。Spatial Reframing、Genmoji。

第二代(2025)模型家族对照

模型参数规模核心技术
端侧模型3BKV-cache 共享 + 2-bit QAT(量化感知训练)
服务器模型可扩展PT-MoE Transformer(并行轨道混合专家)

评估亮点

对比项结果
AFM 3 Core vs 2025(文本)偏好率 45.6% vs 23.3%
AFM 3 Core vs 2025(图像理解)偏好率 >61%
AFM 3 Cloud vs 2025(文本)偏好率 64.7% vs 8.7%
AFM 3 Cloud Pro vs AFM 3 Cloud文本 +10%、图像 +14%(相对)
AFM 3 Core Advanced TTSMOS 4.15(+0.28),对话场景 4.24 vs 3.82
第三代 · 三大架构创新

2026 的三个关键突破

端侧突破

IFP 指令跟随剪枝

全模型存 NAND,按需加载到 DRAM。每个 prompt 路由一次专家(非 token 级),规避 NAND→DRAM 带宽瓶颈。大比例共享专家常驻 + 少量路由专家按需换入,激活参数 1B~4B 弹性可调。

服务器升级

PT-MoE 演进

在 2025 年 PT-MoE 基础上做关键升级,稳定训练 + 提升长上下文召回与推理。用于 AFM 3 Cloud / Cloud Pro。

图像模型

ADM 3 Cloud

高可控性 + 参数效率,跨宽高比/分辨率泛化。适配器支持 Spatial Reframing、Image Playground 个性化。

2024 On-Device 核心规格(奠基设计)

模型规格

总参数 ~2.73B(非 Embedding 2.58B + Embedding 0.15B)
d_model 3072 · 层数 26 · SwiGLU · Pre-Norm + RMSNorm · 无偏置项 · 共享输入/输出 Embedding

注意力与位置

GQA 24:8(8 个 KV heads,Head dim 128,压缩比 3:1)
RoPE base=500k(远高于标准 10000,为长上下文预留)

三个值得注意的选择:① GQA 24:8 比 Llama 更保守,换取更小质量损失;② RoPE base=500k 提前放大,让 8K→32K 扩展更平滑;③ 无偏置项是 ANE 部署的硬件兼容性要求——ANE 矩阵乘单元对无偏置权重利用率更高。

第二代 → 第三代

演进对照与四大跃迁

2025 · 第二代

技术报告
  • 3B 端侧(KV-cache 共享 + 2-bit QAT)
  • PT-MoE 服务器模型
  • Swift Foundation Models 框架
  • 图像理解(多模态)
→

2026 · 第三代

官方博客
  • AFM 3 Core(dense 3B 升级)
  • AFM 3 Core Advanced(20B IFP 稀疏)
  • AFM 3 Cloud / Cloud Pro(PT-MoE 升级)
  • ADM 3 Cloud(图像生成)
  • 深度集成 OS,新 Siri
端侧

压缩 → 稀疏加载

从"压缩 3B 塞进 DRAM"→"20B 存 NAND,按需稀疏加载"(IFP)。

服务器

PT-MoE 升级 + 扩展

从"PT-MoE 初代"→"PT-MoE 升级 + Cloud Pro 扩展到 NVIDIA GPU"。

多模态

理解 → 生成

从"图像理解"→"图像生成(ADM 3 Cloud)+ 表达式语音"。

规模

2 → 5 模型家族

从 2 个模型 → 5 个模型家族,云端分工细化。

深度解析

AFM 3 Core Advanced:20B 总参数如何只激活 3B

核心矛盾:模型要大(容量大、能力强),但 iPhone DRAM 装不下。Apple 的方案不是"压缩 20B 塞进 DRAM",而是让每次推理只用一小部分参数,其余放 NAND 按需加载。

0GB

20B × BF16 ≈ 40GB,远超 DRAM

0GB

2-bit 量化后 20B ≈ 5GB,仍近 DRAM 极限

1–4B

单次激活参数,与 3B dense 相当

IFP 推理链路:NAND → DRAM 专家流动

NAND 闪存(~256GB · 便宜 · 非易失)20B 全部参数(2-bit 量化)
Shared 专家(常驻) Routed 专家 · 数学 Routed · 代码 Routed · 推理 Routed · 语言 Routed · 视觉 Routed · 工具 Routed · …
↓ 按需加载当前请求需要的路由专家 ↓
DRAM(~8GB · 快 · 易失)仅 1–4B 激活 + KV-cache
Shared 专家 Routed · 数学 Routed · 推理

IFP 推理链路四个参与者

① Light Dense Block参数极少的密集子网络,常驻 DRAM,分析请求语义、选择路由专家、触发定期重选。取代每层 token-level router,改在请求级做一次决策。
② Shared Experts无条件下激活,常驻 DRAM。处理通用模式(语法、词法),几乎每个请求都会用到,无需卸载。
③ Routed Experts按需加载到 DRAM,只处理特定领域(数学、代码)。每次请求只加载一小部分,用完可换出。
④ NAND Flash全模型 20B 参数的持久存储。访问延迟远高于 DRAM,加载策略必须精简。

三大关键技术协同

技术 1

IFP 指令跟随剪枝

用"指令向量"标识任务需求,只保留对该任务有用的参数块。不同任务→不同指令→不同参数子集被激活,20B 模型可"按需变形"。

技术 2

PT-MoE 并行轨道

多轨道并行 + 稀疏专家 + 交错全局/局部注意力。20B 参数分散在大量小专家中,每次只调用少数几个,提供稀疏激活的底层结构。

技术 3

2-bit QAT + NAND 调度

训练时量化 + ASTC 硬件压缩 + NAND 分块存储。按专家粒度索引,按需加载到 DRAM,类似 CPU 虚拟内存 / page fault,粒度是"专家"。

协同链路: IFP(决定用哪些参数)→ PT-MoE(激活哪些专家)→ NAND 调度(何时取参数)→ 2-bit QAT(参数多省空间)→ 1–4B 激活完成推理。

为什么能"又大又快"

维度传统 dense 3BCore Advanced 20B/1–4B 激活
总参数3B20B(容量 ≈ 6.7×)
单次激活3B1~4B(相当)
推理速度快相当(激活量相近)
存储全在 DRAMNAND + DRAM 分级
能力受限于 3B 容量20B 容量,按任务变形

核心洞察:Apple 把"模型大小"和"单次计算量"解耦了——模型可以很大(20B,知识容量大),单次计算可以很小(1~4B,端侧跑得动),桥梁是稀疏激活 + 分级存储。

三条正交主线

架构 · 稀疏 · 压缩:2026 三位一体

三者正交但协同:任何一条线单独都不够,三者叠加才实现"20B 模型端侧运行"。

年份架构创新压缩稀疏化
2024GQA + RoPE base=500k4-bit 调色板量化 3.7 bpw(后训练 + 适配器)Soft-Top-K 剪枝(FFN 维度,范围有限)
2025KV-cache 共享 + PT-MoE + 交错注意力2-bit QAT + ASTC 3.56 bpw(训练时 + 硬件解压)64 专家 MoE 上循环 + 蒸馏(范围中等)
2026PT-MoE 增强版 + Cloud Pro2-bit QAT + IFP 稀疏激活(压缩权重 + 减少激活)IFP + NAND 分级存储(突破 DRAM 边界)

三线汇流:Core Advanced 上的融合

架构创新线
PT-MoE 增强版
提供"稀疏专家"结构基础
让"只激活一小部分"成为可能
稀疏化线
IFP 按指令选择专家
决定"激活哪些参数"
让"按任务变形"成为可能
压缩线
2-bit QAT 压缩权重
极限缩小单参数体积
让"NAND 装得下 20B"成为可能
↓ ↓ ↓
系统层 · NAND 分级存储
装下 20B 全量参数 → AFM 3 Core Advanced(20B / 1–4B 激活)

关键转折点

架构线

2025 分水岭

从"用业界标准组件"转向"自研架构(KV-cache 共享 + PT-MoE)"。2026 巩固并扩展到 NVIDIA。

压缩线

从事后补救到原生低精度

2024 PTQ + adapter → 2025 QAT 原生低精度 → 2026 压缩 + 稀疏双维度(正交可叠加)。

稀疏线

从算法层到系统层

2025 MoE 稀疏在算法层(专家仍在 DRAM)→ 2026 IFP 扩展到存储层,稀疏边界从 DRAM 扩到 NAND,质变。

关键技术数据

数字看三代创新

0%

KV-cache 共享:TTFT 与 KV 内存双降

0%

PT-MoE(D=4)同步开销下降

0%

稀疏上循环 + 蒸馏训练成本下降

0

ASTC bits/weight(128/36),硬件零延迟解压

−0.8

ASTC MMLU 80.0→79.2(几乎无损)
vs 2-bit QAT 降 3.4 分

500 GB/s

M4 Max UMA 带宽(CPU/GPU/ANE 共享)

PT-MoE vs 传统 MoE

对比项传统 MoEPT-MoE
同步频率每层 all-to-all 同步每 D 层同步一次
同步开销2LL/D(D=4 时降 87.5%)
专家分布全局,通信与计算串行本地化到轨道,通信与计算重叠

IFP vs 传统 MoE

维度传统 MoEIFP 稀疏激活
存储全部专家在 DRAM全模型在 NAND 闪存
路由token-by-token首次选择 + 定期重选
激活粒度每 token 换专家请求级弹性
带宽瓶颈DRAM 内部带宽NAND-to-DRAM 带宽
参数激活固定1–4B 按需

硬件分层推理策略

模型规模硬件路径存储层级瓶颈
密集 ≤3BANE SRAMSRAM 常驻ANE 算力
稀疏 20BANE + DRAM + NAND共享专家 SRAM/DRAM,路由专家 NAND 按需加载NAND-to-DRAM 带宽
Cloud ProNVIDIA GPU + HBM全部权重在 HBM(~3.35 TB/s)GPU 算力 / 互联带宽
第二部分 · 名词解释

专业名词速查

按通用基础概念 + 三条主线分组,便于查阅。

通用
TransformerTransformer
2017 年 Google 提出的架构,由 Attention + FFN 堆叠而成,是当前所有主流 LLM 的结构基础。
通用
Attention注意力机制
让模型处理某 Token 时"关注"上下文中其他相关 Token。核心计算 Query×Key→权重→加权 Value。
通用
FFNFeed-Forward Network
每层"两层全连接 + 激活"模块,承担大部分参数与计算,是模型"知识存储"的主要位置。
通用
KV-CacheKV 缓存
自回归生成时缓存前面 Token 的 Key/Value 避免重复计算。内存随序列长度线性增长,端侧尤其敏感。
通用
MoEMixture of Experts
将 FFN 替换为多个专家子网络,每个 Token 只激活 1~2 个。总参数大、激活小,换"大容量 + 低成本"。
通用
Embedding嵌入层
把离散 Token ID 映射为连续向量的层,是模型输入的第一步。
通用
Perplexity / PPL困惑度
衡量语言模型对文本的"困惑程度",越低越好。等价于交叉熵的指数,量化精度损失最常用指标。
架构
GQAGrouped Query Attention
多个 Query 共享同一组 Key/Value,介于 MHA 与 MQA 之间。显著减少 KV-Cache 内存,2024 已成业界共识标配。
架构
SwiGLUSwish 门控线性单元
FFN 激活设计,Swish 激活与门控结合:SwiGLU(x)=Swish(xW_gate)⊗(xW_up)。LLaMA、Apple FM 均采用。
架构
RoPE旋转位置编码
用旋转矩阵把位置信息编码进 Query/Key,注意力分数自然带相对位置。支持长上下文外推,已成事实标准。
架构
KV-Cache 共享Apple 2025 独创
在多个请求 / 多个 Token 间共享同一份 KV-Cache,系统级而非单层级创新。Block 2 共享 Block 1 的 KV。
架构
PT-MoEParallel Track MoE
Apple 独创 MoE 变体,多条并行专家轨道,通信与计算重叠,2025 首发同步开销降 87.5%。
架构
Cloud Pro云端高规格版
2026 云端最强版,部署 NVIDIA GPU + Google Cloud,承担复杂推理,与端侧形成"云-端"协同。
压缩
PTQ后训练量化
训练完成后用少量校准数据把 FP16 转 INT8/4。快、便宜但精度损失大,2024 Apple 主力方案。
压缩
Adapter Recovery适配器恢复
量化掉点后插入并训练小参数适配器(如 LoRA)补偿误差,属"先压缩后修补"两阶段策略。
压缩
QAT量化感知训练
训练中插入伪量化节点,前向模拟量化误差,反向让权重主动适应低精度。精度恢复优于 PTQ,2025 引入。
压缩
ASTC硬件加速解压
原 GPU 纹理压缩格式。Apple 用硬件级解压单元加速反量化,6×6 块打包 128-bit,3.56 bpw,零延迟解压。
压缩
稀疏激活Sparse Activation
不压缩比特宽度,而减少每次前向实际参与计算的权重数量。换维度解决瓶颈,2026 新方向。
稀疏
剪枝Pruning
把不重要权重置零使矩阵变稀疏。分结构化(整行整列)与非结构化(单个权重)。
稀疏
Soft-Top-K 剪枝Apple 2024
可微 Top-K 选择,只对 FFN 隐藏维做软筛选保留重要通道。局限:只限 FFN 隐藏维,上限有限。
稀疏
MoE 稀疏上循环Sparse Up-cycling
2025 方案,稠密模型"升级"为 MoE,稀疏路由让 Token 只走部分专家。代价:需额外蒸馏保证质量。
稀疏
IFP指令跟随剪枝
2026 系统级创新。把稀疏化存储边界从 DRAM 扩到 NAND Flash,突破"DRAM 墙",同等 DRAM 容纳更大稀疏模型。
稀疏
蒸馏Distillation
用大而强的教师模型指导小而快的学生训练,迁移知识。2025 上循环流程中弥补稀疏化质量损失。
稀疏
NAND Flash闪存
手机非易失存储("硬盘"),几十~几百 GB 但慢于 DRAM。2026 用 IFP 把稀疏权重放此,按需加载。
稀疏
DRAM运行内存
手机运行内存,快但小(2~12 GB)。LLM 权重和 KV-Cache 都挤这,端侧部署核心瓶颈。
记忆口诀

一句话记住三代

GQAQ 共享 KV,省缓存
SwiGLUSwish + 门控,FFN 新标配
RoPE旋转出相对位置
PT-MoEApple 定制 MoE,并行多轨道
QAT训练时假装量化,让权重提前适应
ASTC硬件解压,软件变硬件
Soft-Top-KFFN 隐藏维做软筛选
IFP稀疏权重放 NAND,突破 DRAM 墙
架构打基础,稀疏定策略,压缩省空间,系统装得下。
四线协同,2026 年才把 20B 模型塞进了 iPhone。
信息来源

参考与出处