「数据不出本地就安全了」「脱敏了就没隐私问题了」——这两个直觉在机器学习语境里都站不住脚。模型本身会泄露训练数据，梯度会反推出原始样本，脱敏数据能被重识别。隐私保护机器学习（PPML）要的是可量化、可证明的隐私保证，而不是「感觉上安全」。本文讲清两条主线：联邦学习（数据不动、模型动）和差分隐私（给隐私一个数学定义），以及它们各自的边界和组合用法。

直觉：训练好的模型会「记住」数据

先打破第一个幻觉。神经网络尤其是大模型，会记忆训练样本。成员推断攻击（membership inference）能判断「某条记录是否在训练集里」；在语言模型上，精心构造的 prompt 能让模型逐字吐出训练语料中的隐私片段。所以「只发布模型不发布数据」并不天然安全——模型是数据的有损压缩，压缩里漏信息。这就是为什么需要在机制层面给出隐私保证。

主线一：联邦学习——数据不动，模型动

联邦学习（FL）的核心思想：原始数据留在各客户端（手机、医院、机构），只把模型更新传到服务器聚合。一轮 FedAvg 大致是：

1
2
3
4
5
6
7
8
9
10
11
# 服务器侧：第 t 轮
def fed_avg_round(global_w, clients):
    updates, sizes = [], []
    for c in clients:                      # 实际是并行分发
        w_local = client_train(c, global_w)  # 本地多步 SGD，数据不出本地
        updates.append(w_local)
        sizes.append(c.num_samples)
    total = sum(sizes)
    # 按样本量加权平均
    return {k: sum(n * u[k] for n, u in zip(sizes, updates)) / total
            for k in global_w}

形式化，聚合的是各客户端目标的加权和：

minw∑k=1KnknFk(w),Fk(w)=1nk∑i∈Dkℓ(w;xi)\min_w \; \sum_{k=1}^{K} \frac{n_k}{n} F_k(w), \quad F_k(w) = \frac{1}{n_k}\sum_{i\in D_k} \ell(w; x_i)

FL 的真实挑战

  • 数据非独立同分布（non-IID）：各客户端分布差异大，本地多步更新会让模型「各自漂移」，简单平均后收敛变慢甚至震荡。这是 FL 最核心的工程痛点，催生了一系列加约束/做个性化的变体。
  • 通信瓶颈：模型越大，每轮上传下载越贵。常用梯度压缩、量化、减少通信轮数来缓解。
  • 系统异构：客户端算力/在线时间参差，掉线是常态，聚合要容忍部分参与。

关键认知：FL 本身不等于隐私

「数据没出本地」给人安全错觉，但梯度会泄露数据。已有的梯度反演攻击（gradient inversion）能从上传的梯度里近似重建原始训练样本，尤其在 batch 较小时。所以 FL 需要叠加额外机制：

  • 安全聚合（secure aggregation）：用密码学手段让服务器只能看到所有客户端更新的和，看不到任何单个更新。
  • 差分隐私：给更新加噪，提供可证明的隐私上界。

主线二：差分隐私——给隐私一个数学定义

差分隐私（DP）是目前最有原则性的隐私框架。它定义在「相邻数据集」上——DD 和 D′D' 只差一条记录。一个随机算法 M\mathcal{M} 满足 (ε,δ)(\varepsilon, \delta)-DP，当对任意输出集合 SS：

P[M(D)∈S]≤eεP[M(D′)∈S]+δP[\mathcal{M}(D) \in S] \le e^{\varepsilon} \, P[\mathcal{M}(D') \in S] + \delta

直觉：增删任何一条记录，几乎不改变输出的概率分布。于是观察者无法据输出反推「某条记录是否参与了计算」。ε\varepsilon 是隐私预算，越小越私密（输出对单条记录越不敏感）；δ\delta 是允许这条保证失效的小概率。

机制：加噪 + 控制敏感度

实现 DP 的核心是给计算结果加校准过的随机噪声，噪声量由敏感度决定——单条记录最多能改变结果多少。在深度学习里就是 DP-SGD：

1
2
3
4
5
DP-SGD 每步:
  1. 算每个样本的梯度 g_i              (per-example gradient)
  2. 裁剪: g_i ← g_i / max(1, ||g_i|| / C)   # 限制单样本影响，把敏感度卡到 C
  3. 求和后加高斯噪声: g̃ = (Σ g_i + N(0, σ²C²I)) / B
  4. 用 g̃ 更新参数

两个关键操作：逐样本梯度裁剪把任一样本对更新的影响上限锁死在 CC（这就是敏感度）；加高斯噪声用 σ\sigma 控制隐私强度。多步训练的总隐私损失通过隐私会计（privacy accounting，如 moments accountant / RDP）累加得到最终 ε\varepsilon。

隐私-效用权衡：没有免费午餐

DP 的代价是模型效用下降：噪声越大（ε\varepsilon 越小）越私密，但精度越低。粗略地，加入的噪声标准差与 ε\varepsilon 成反比量级关系，所以隐私和精度此消彼长，存在一条帕累托前沿。工程上常见现象：小数据集或少数类在 DP 下受损更明显，因为它们的「信号」更容易被噪声淹没——这又和公平性问题纠缠在一起。

组合使用与边界

FL 和 DP 不是二选一，常叠加：FL 解决「数据物理不出域」，安全聚合解决「服务器不窥单点」，DP 解决「最终模型不可反推个体」。一个偏隐私的部署可能是：FL + 安全聚合 + 客户端级 DP。

但要清醒认识边界：

  • DP 不保护「群体级」结论。 DP 保护的是「某个体是否参与」，而不是「模型不能学到关于某类人群的规律」——后者恰恰是 ML 想要的。混淆这两者会对 DP 期望过高。
  • ε\varepsilon 不是越小越好用。 实践中要在「有意义的隐私保证」和「模型还能用」之间选一个 ε\varepsilon，并把这个选择透明记录，而不是追求理论极小值。
  • 联邦不等于合规。 跨域聚合可能仍触及数据保护法规，FL 是技术手段不是法律豁免。
  • 加密推理（如同态加密、安全多方计算） 是另一条线，保护的是「推理时数据不暴露给服务方」，但当前计算开销很高，多用于特定高敏感场景。

小结

隐私保护机器学习的两个支柱解决不同问题：联邦学习让原始数据留在本地、只交换模型更新，但梯度会泄露，必须配安全聚合或 DP 才算真有保障；差分隐私给「单条记录是否参与」提供可证明的数学上界，靠梯度裁剪控敏感度、加噪控强度，代价是确定的隐私-效用权衡。务实的隐私系统往往是它们的组合，并对 ε\varepsilon、威胁模型、保护边界做出明确而诚实的声明——隐私保证的价值，恰恰在于它是可量化、可审计的，而非「感觉安全」。