垂直联邦学习：打破数据孤岛，开启隐私计算新纪元

发表于2025-07-25|更新于2025-07-26|技术

|浏览量:

你好，我是 qmwneb946。在这个数字时代，数据已成为驱动创新和决策的强大引擎。然而，数据的价值往往被“数据孤岛”效应所限制——不同机构拥有互补的数据，却因隐私、合规和安全等顾虑无法直接共享。联邦学习（Federated Learning, FL）的出现，为这一困境带来了曙光，它允许多方在不交换原始数据的情况下，协同训练机器学习模型，从而实现数据的“可用不可见”。

在联邦学习的广阔图景中，垂直联邦学习（Vertical Federated Learning, VFL）是一个尤为引人入胜的方向。想象一下，银行拥有用户的信用历史，电商平台掌握着用户的消费行为，而社交媒体则了解用户的社交偏好。这些数据各自独立，但如果能有效整合，将极大提升对用户画像的理解和模型的预测能力。垂直联邦学习正是旨在解决这种场景下的数据协同计算问题，让拥有相同用户ID但不同特征集的多个参与方，能够联合构建更强大的模型。

今天，我们将深入剖析垂直联邦学习的奥秘，从其基本概念、核心技术到实际应用，一步步揭示它如何成为打破数据孤岛、开启隐私计算新纪元的重要力量。

联邦学习概述：隐私保护的分布式机器学习

在深入垂直联邦学习之前，我们首先需要理解联邦学习的宏观背景。

什么是联邦学习

联邦学习，顾名思义，是一种“联邦制”的机器学习范式。它由 Google 在2016年首次提出，最初是为了解决移动设备上的模型训练问题。其核心思想是，数据拥有方（通常是客户端或机构）在本地保留原始数据，不将其上传至中央服务器。取而代之的是，各方在本地训练模型，然后将模型的更新（例如梯度或模型参数）发送给一个中央聚合器。聚合器将这些更新进行聚合，形成一个全局模型，再将全局模型或其更新分发回各参与方，如此迭代直至模型收敛。整个过程中，原始数据始终不离开本地，从而实现了对用户隐私的保护。

联邦学习的分类

根据数据在不同参与方之间的分布模式，联邦学习通常被划分为三大类：

横向联邦学习（Horizontal Federated Learning, HFL）
- 特征相似，样本不同。 这意味着各参与方拥有相似的特征空间，但它们的用户样本是不同的。
- 典型场景： 不同地区的银行，它们都拥有客户的交易记录、身份信息等特征，但服务的是不同的客户群体。
- 工作机制： 各方在本地训练一个相同的模型架构，聚合器负责聚合模型参数或梯度。这是最常见的联邦学习形式，例如联邦平均（Federated Averaging, FedAvg）算法。
垂直联邦学习（Vertical Federated Learning, VFL）
- 样本相似，特征不同。 这意味着各参与方拥有相同或高度重叠的用户样本，但它们各自拥有这些用户的不同特征子集。
- 典型场景： 银行和电商平台，它们服务的用户群体可能高度重叠，但银行有用户的信用数据，电商有用户的消费数据。
- 工作机制： 各方协同构建一个模型，该模型需要整合所有参与方的特征。这通常涉及更复杂的安全多方计算技术。这是我们今天文章的重点。
联邦迁移学习（Federated Transfer Learning, FTL）
- 样本不同，特征也不同。 适用于各参与方之间用户和特征重叠都很少的场景。
- 典型场景： 医院的医疗影像数据和社交媒体的用户行为数据，它们的用户和特征空间都差异巨大，但可能通过迁移学习共享某些通用知识。
- 工作机制： 通常利用迁移学习的思想，在一部分共享的数据或预训练模型上进行知识迁移。

了解了联邦学习的整体框架，我们现在可以将焦点集中到垂直联邦学习上。

垂直联邦学习的深度解析

垂直联邦学习是联邦学习领域中一个极具挑战性也最具潜力的方向。

核心概念与应用场景

如前所述，垂直联邦学习处理的是各方拥有共同样本但不同特征的场景。其核心目标是在不直接共享各自私有特征数据的前提下，联合所有特征来训练一个统一的机器学习模型。

为什么垂直联邦学习如此重要？
在现实世界中，许多有价值的数据往往以“垂直”的方式分散在不同的组织中。例如：

金融风控： 银行的征信数据、电信运营商的通话行为数据、电商平台的消费数据，共同构成了一个用户完整的风险画像。
精准营销： 广告商的用户浏览行为、电商的购买记录、社交平台的兴趣标签，能更精准地描绘用户偏好。
智慧医疗： 医院的病理报告、基因测序公司的数据、健康管理APP的日常生理指标，能更全面地预测疾病风险。

这些场景下的数据整合，是提升模型性能的关键。但由于法律法规、商业竞争以及数据隐私的严格要求，直接汇聚原始数据几乎不可能。垂直联邦学习提供了一个完美的解决方案。

垂直联邦学习面临的挑战

尽管前景广阔，垂直联邦学习在技术实现上存在诸多挑战：

样本对齐（Sample Alignment）问题：
- 在训练开始前，各方需要确定它们共同拥有的用户样本。
- 挑战：如何在不暴露各自用户ID列表的前提下，找到它们的交集？直接交换ID会泄露用户隐私。
特征分布问题：
- 模型的输入特征分散在不同的参与方手中。
- 挑战：如何在计算过程中，让所有特征共同参与到前向传播和反向传播中，同时又不对外暴露自身特征值？
计算复杂性：
- 为了保护隐私，VFL大量依赖于密码学技术，如同态加密、秘密共享等。
- 挑战：这些技术通常计算开销巨大，可能导致模型训练效率低下，限制了其在大规模数据集和复杂模型上的应用。
通信开销：
- 在模型训练过程中，各方需要频繁地交换加密或秘密共享的中间结果。
- 挑战：这可能导致巨大的通信量，尤其是在参与方众多或网络带宽有限的情况下。
安全性和隐私泄露风险：
- 虽然旨在保护隐私，但VFL并非绝对安全。
- 挑战：中间结果（如加密的梯度、秘密共享的激活值）是否会泄露原始数据信息？是否存在串谋攻击、推理攻击、后门攻击等风险？如何抵御恶意参与方？

核心技术基石：隐私增强技术

为应对上述挑战，垂直联邦学习严重依赖一系列先进的隐私增强技术（Privacy-Enhancing Technologies, PETs）。

私有集合求交（Private Set Intersection, PSI）

PSI 是 VFL 的第一步，用于在不透露双方集合内容的前提下，计算两个或多个集合的交集。
例如，用户A有一个ID集合 $S_A$ ，用户B有一个ID集合 $S_B$ ，他们想知道 $S_A \cap S_B$ 是什么，但都不想暴露 $S_A$ 或 $S_B$ 的其他元素。

常见的 PSI 协议包括：

基于 Diffie-Hellman 的 PSI： 一方加密其元素，另一方使用Diffie-Hellman密钥交换来匹配。效率较高，但可能存在一些信息泄露风险。
基于不经意传输（Oblivious Transfer, OT）的 PSI： 发送方有 $N$ 个秘密，接收方选择其中一个秘密，但发送方不知道接收方选择了哪个；同时，接收方也不知道其他 $N-1$ 个秘密。OT是许多更复杂隐私协议的基础。
基于同态加密的 PSI： 将ID进行同态加密后，在密文上进行比较，然后解密得到交集。
基于加密哈希（e.g., Secure Hashing with Blind Signatures）的 PSI： 参与方对自己的ID进行盲签名或加密哈希，然后交换并比对。

PSI 是确保 VFL 各方在共同数据集上进行训练的前提，同时保护了非交集用户的隐私。

安全多方计算（Secure Multi-Party Computation, MPC/SMC）

MPC 是一个更广泛的密码学概念，旨在允许多方在不泄露各自私有输入的情况下，共同计算一个函数。这是 VFL 训练过程中最核心的技术，因为它允许各方在特征分散的情况下进行模型的联合训练，例如：安全地计算特征的加权和、点积、激活函数的求值，以及梯度的求和。

MPC 的主要技术包括：

同态加密（Homomorphic Encryption, HE）：
- 概念： 允许在不解密数据的情况下，对加密数据进行运算。就像可以在锁着的盒子里对数字进行加减乘除，而不知道盒子里的具体数字。
- 类型：
  - 部分同态加密（PHE）： 只支持一种操作，例如只支持加法或只支持乘法。比如 Paillier 同态加密支持加法同态和数乘同态，这在垂直联邦学习的逻辑回归等线性模型中非常有用，因为它允许参与方加密其本地的中间结果（如 $X_i W_i$ ），然后由中央聚合器（或指定的一方）在密文状态下将这些结果求和，得到总的预测值 $XW = \sum X_i W_i$ 。
  - 某些同态加密（SHE）： 支持有限次数的多种操作（加法和乘法）。
  - 全同态加密（FHE）： 支持任意次数的加法和乘法运算。这是密码学的“圣杯”，但计算成本极高，目前还难以广泛应用于大规模机器学习。
- 在 VFL 中的应用： 用于安全地聚合各方的中间结果（如部分预测值、梯度），或进行某些计算。
例如，Paillier 同态加密的加法同态性：
如果 $E(m_1)$ 是 $m_1$ 的加密， $E(m_2)$ 是 $m_2$ 的加密，那么：
$E(m_1) \cdot E(m_2) = E(m_1 + m_2)$
$E(m_1)^k = E(k \cdot m_1)$
这使得在不解密的情况下，能够安全地对多个参与方的部分贡献进行求和或数乘。
秘密共享（Secret Sharing, SS）：
- 概念： 将一个秘密分成若干个“份额（shares）”，分发给多个参与方，只有当足够数量（达到某个阈值）的参与方聚合其份额时，才能重构出原始秘密。单个份额无法泄露任何信息。
- 在 VFL 中的应用：
  - 加性秘密共享（Additive Secret Sharing）： 用于安全地对多个私有输入进行求和。每个参与方将自己的输入 $x_i$ 随机分成 $n$ 份（例如 $x_i = s_{i1} + s_{i2} + ... + s_{in}$ ），然后将 $s_{ij}$ 发送给参与方 $j$ 。最终，每个参与方 $j$ 计算其接收到的所有份额之和 $\sum_i s_{ij}$ ，所有这些和加起来就是 $\sum_i x_i$ 。
  - 乘法秘密共享： 更复杂，用于安全地计算乘积，通常基于阈值秘密共享方案。
- 秘密共享在分布式计算中具有很高的效率，尤其适用于安全求和。
混淆电路（Garbled Circuits, GC）：
- 概念： 将一个函数转换为一个布尔电路，然后对其进行“混淆”，使得两方或多方可以在不知道彼此输入的情况下，安全地评估这个电路，从而计算出函数结果。
- 在 VFL 中的应用： 更适用于安全地执行复杂的非线性运算或条件逻辑，例如隐私保护的比较操作。

这些密码学工具的组合使用，构成了垂直联邦学习隐私保护的基石。

垂直联邦学习的架构与训练流程

为了更好地理解垂直联邦学习的工作原理，我们以一个经典的垂直联邦逻辑回归模型训练为例进行阐述。逻辑回归是机器学习中最基础但广泛应用的分类模型之一，其线性特性使其在VFL中更容易实现。

角色定义

在垂直联邦学习中，通常包含以下角色：

数据参与方 (Data Parties / Clients)： 拥有各自部分的特征数据和样本ID，例如 Party A, Party B。
协调者 (Coordinator / Aggregator)： 一个受信任的第三方，或由某一个数据参与方兼任。负责协调整个训练过程，进行安全聚合等。
标签拥有方 (Label Owner)： 拥有模型训练所需的真实标签 $Y$ ，通常也是一个数据参与方（例如 Party B）。

VFL 逻辑回归训练流程（以两方为例）

假设我们有两个数据参与方 Party A 和 Party B，它们拥有相同的用户样本，但 Party A 拥有特征 $X_A$ ，Party B 拥有特征 $X_B$ 和标签 $Y$ 。我们的目标是训练一个逻辑回归模型 $\hat{y} = \sigma(X_A W_A + X_B W_B)$ 。

初始化阶段：
- 模型参数初始化： Party A 初始化其局部权重 $W_A$ ，Party B 初始化其局部权重 $W_B$ 。
- 密码学系统初始化： 确定并初始化所使用的同态加密方案（例如 Paillier）或秘密共享方案。
- PSI 阶段： Party A 和 Party B 执行 PSI 协议，找出它们共同拥有的用户ID。训练将只在这些共同样本上进行。
前向传播（Forward Propagation）阶段：
- 各方计算部分预测值：
  - Party A 计算其本地的贡献： $u_A = X_A W_A$ 。
  - Party B 计算其本地的贡献： $u_B = X_B W_B$ 。
- 安全聚合部分预测值：
  - Party A 对 $u_A$ 进行加密 $E(u_A)$ ，然后将其发送给 Party B。
  - Party B 接收到 $E(u_A)$ 后，计算 $E(u_A + u_B) = E(u_A) \cdot E(u_B)$ （利用Paillier的加法同态性，这里假设 $u_B$ 本身未加密或 Party B 将其加密）。
  - Party B 解密得到总的预测值 $u = u_A + u_B$ 。
  - 思考： 为什么 $u_B$ 不需要加密？因为 Party B 是标签拥有方，最终需要知道 $u$ 来计算损失。但为了防止 Party B 从 $u$ 和 $u_B$ 推断出 $u_A$ ，更安全的做法是 $u_B$ 也加密，或者采用秘密共享，让 Party B 只在密文下计算，然后由一个第三方辅助解密（但这样Party B就不知道总的预测值了），或者直接在密B计算梯度。最常见的是 Party B 拥有私钥进行解密，它知道总的 $u$ 但不知道 $u_A$ 和 $u_B$ 各自的具体值。
数学公式表示：
$u_A = X_A W_A$
$u_B = X_B W_B$
Party A 将 $E(u_A)$ 发送给 Party B。
Party B 计算 $E(u) = E(u_A) \cdot E(u_B)$ (如果 $u_B$ 也加密的话)。
Party B 解密得到 $u = u_A + u_B$ 。
损失计算与梯度生成（Loss Calculation and Gradient Generation）阶段：
- 标签拥有方计算预测概率： Party B 接收到 $u$ 后，计算预测概率 $\hat{y} = \sigma(u)$ 。
- 计算损失函数： Party B 利用真实的标签 $Y$ 和预测概率 $\hat{y}$ 计算损失 $L(\hat{y}, Y)$ （例如，交叉熵损失）。
- 计算公共梯度项： Party B 计算损失函数对总预测值 $u$ 的偏导数 $\frac{\partial L}{\partial u}$ 。对于逻辑回归，这个公共梯度项通常是 $(\hat{y} - Y)$ 。
数学公式表示：
$\hat{y} = \sigma(u) = \frac{1}{1 + e^{-u}}$
$L = -\frac{1}{N} \sum_{i=1}^N [Y_i \log(\hat{y}_i) + (1-Y_i) \log(1-\hat{y}_i)]$
$\frac{\partial L}{\partial u} = \hat{y} - Y$
反向传播（Backward Propagation）阶段：
- 安全分发公共梯度项： Party B 对 $\frac{\partial L}{\partial u}$ 进行加密或通过秘密共享分发给所有参与方（包括它自己）。这里通常是直接发送 $\hat{y} - Y$ 的加密结果，或者直接发送 $\hat{y} - Y$ 本身（通常认为这一项的隐私风险较低，因为它代表的是误差）。在某些严格的协议中，可能会对这个误差项也进行加密或混淆。
- 各方计算并更新本地梯度：
  - Party A 接收到 $\frac{\partial L}{\partial u}$ （或其加密/秘密共享），结合其本地特征 $X_A$ ，计算其局部权重 $W_A$ 的梯度： $\frac{\partial L}{\partial W_A} = X_A^T \frac{\partial L}{\partial u}$ 。
  - Party B 同样计算其局部权重 $W_B$ 的梯度： $\frac{\partial L}{\partial W_B} = X_B^T \frac{\partial L}{\partial u}$ 。
- 更新模型参数： 各方使用计算出的本地梯度更新其局部权重 $W_A$ 和 $W_B$ 。
  $W_A \leftarrow W_A - \eta \cdot \frac{\partial L}{\partial W_A}$
  $W_B \leftarrow W_B - \eta \cdot \frac{\partial L}{\partial W_B}$
  其中 $\eta$ 是学习率。
迭代训练：
重复步骤 2-4，直到模型收敛或达到预设的训练轮次。

示例代码结构（概念性）

下面的伪代码展示了垂直联邦学习逻辑回归的训练逻辑，重点在于各方如何协同以及安全计算的概念。

import numpy as np
# 假设存在一个 Paillier 同态加密库
# from phe import paillier

# 模拟 sigmoid 函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 学习率
LEARNING_RATE = 0.01

# --- 核心密码学操作模拟 ---
# 实际中会是 Paillier 加密/解密 或 秘密共享等
class SecureAggregator:
    def __init__(self):
        # self.public_key, self.private_key = paillier.generate_paillier_keypair()
        pass # 简化，不实际实现加密

    # 模拟加密，实际是 Paillier public_key.encrypt()
    def encrypt(self, value):
        # return self.public_key.encrypt(value)
        return value # 概念上假装加密了

    # 模拟解密，实际是 Paillier private_key.decrypt()
    def decrypt(self, encrypted_value):
        # return self.private_key.decrypt(encrypted_value)
        return encrypted_value # 概念上假装解密了

    # 模拟密文加法，实际是 encrypted_value1 + encrypted_value2 (Paillier)
    def secure_add_encrypted(self, enc_val1, enc_val2):
        # return enc_val1 + enc_val2
        return enc_val1 + enc_val2 # 概念上密文相加

class PartyA:
    def __init__(self, X_A, W_A_init):
        self.X_A = X_A
        self.W_A = W_A_init
        print(f"PartyA: X_A shape {self.X_A.shape}, W_A shape {self.W_A.shape}")

    def forward_pass(self, aggregator):
        # 计算本地部分预测值 u_A = X_A @ W_A
        u_A = self.X_A @ self.W_A
        # 加密 u_A 并发送给聚合器/Label Owner
        encrypted_u_A = aggregator.encrypt(u_A)
        return encrypted_u_A

    def backward_pass(self, common_gradient_part):
        # 接收到公共梯度项 (predictions - Y)
        # 计算本地梯度 grad_W_A = X_A.T @ common_gradient_part
        grad_W_A = self.X_A.T @ common_gradient_part
        # 更新本地权重
        self.W_A -= LEARNING_RATE * grad_W_A

class PartyB_LabelOwner:
    def __init__(self, X_B, W_B_init, Y):
        self.X_B = X_B
        self.W_B = W_B_init
        self.Y = Y
        print(f"PartyB: X_B shape {self.X_B.shape}, Y shape {self.Y.shape}, W_B shape {self.W_B.shape}")

    def forward_pass(self, aggregator, encrypted_u_A):
        # 计算本地部分预测值 u_B = X_B @ W_B
        u_B = self.X_B @ self.W_B
        # 在密文域进行加法运算，得到加密的总预测值
        # 这里模拟 Party B 收到 Party A 的加密 u_A，然后将其与 u_B 的明文相加（或加密 u_B 后再加）
        # 实际Paillier用法：encrypted_total_u = encrypted_u_A + aggregator.encrypt(u_B)
        # 然后 Party B 用私钥解密
        total_u = aggregator.decrypt(aggregator.secure_add_encrypted(encrypted_u_A, u_B))
        return total_u

    def compute_loss_and_common_grad(self, total_logits):
        # 计算预测概率
        predictions = sigmoid(total_logits)
        # 计算损失 (交叉熵)
        loss = -np.mean(self.Y * np.log(predictions + 1e-9) + (1 - self.Y) * np.log(1 - predictions + 1e-9))
        # 计算公共梯度项 (对于逻辑回归，是 predictions - Y)
        common_gradient_part = predictions - self.Y
        return loss, common_gradient_part

    def backward_pass(self, common_gradient_part):
        # 接收到公共梯度项
        # 计算本地梯度 grad_W_B = X_B.T @ common_gradient_part
        grad_W_B = self.X_B.T @ common_gradient_part
        # 更新本地权重
        self.W_B -= LEARNING_RATE * grad_W_B

# --- 模拟训练过程 ---
def train_vfl_logistic_regression(X_A, X_B, Y, num_epochs=100):
    num_samples = X_A.shape[0]
    num_features_A = X_A.shape[1]
    num_features_B = X_B.shape[1]

    # 初始化权重
    W_A_init = np.random.rand(num_features_A, 1) * 0.1
    W_B_init = np.random.rand(num_features_B, 1) * 0.1

    party_A = PartyA(X_A, W_A_init)
    party_B = PartyB_LabelOwner(X_B, W_B_init, Y)
    aggregator = SecureAggregator() # 模拟安全聚合服务

    print("\n--- Starting VFL Training ---")
    for epoch in range(num_epochs):
        # 1. 前向传播
        # Party A 计算其部分预测值并加密
        encrypted_u_A = party_A.forward_pass(aggregator)
        # Party B 计算其部分预测值并与 Party A 的加密结果进行安全聚合
        total_logits = party_B.forward_pass(aggregator, encrypted_u_A)

        # 2. 标签拥有方计算损失和公共梯度项
        loss, common_gradient_part = party_B.compute_loss_and_common_grad(total_logits)

        # 3. 反向传播
        # 将公共梯度项安全分发给 Party A 和 Party B
        # 实际中 common_gradient_part 可能会被加密或秘密共享
        party_A.backward_pass(common_gradient_part)
        party_B.backward_pass(common_gradient_part)

        if (epoch + 1) % 10 == 0:
            print(f"Epoch {epoch + 1}/{num_epochs}, Loss: {loss:.4f}")
    print("--- VFL Training Finished ---")

    return party_A.W_A, party_B.W_B

# --- 示例数据生成 ---
np.random.seed(42)
num_samples = 100
num_features_A = 5
num_features_B = 3

X_A_data = np.random.rand(num_samples, num_features_A)
X_B_data = np.random.rand(num_samples, num_features_B)
# 真实标签 Y (例如，基于某些线性组合 + 噪声生成)
true_weights_A = np.random.rand(num_features_A, 1) * 2 - 1
true_weights_B = np.random.rand(num_features_B, 1) * 2 - 1
true_logits = X_A_data @ true_weights_A + X_B_data @ true_weights_B + np.random.randn(num_samples, 1) * 0.5
Y_labels = (sigmoid(true_logits) > 0.5).astype(int)

# 运行训练
final_W_A, final_W_B = train_vfl_logistic_regression(X_A_data, X_B_data, Y_labels)

print("\nFinal W_A:\n", final_W_A)
print("Final W_B:\n", final_W_B)

代码说明：

此代码是一个高度简化的概念性演示，并未真正实现同态加密等复杂密码学操作，而是用简单的数值传递替代，并加上注释说明实际的加密/解密/安全聚合位置。
SecureAggregator 类在此处仅作概念上的封装，实际中它会是 Paillier 密钥对的拥有者，或者秘密共享的协调方。
forward_pass 和 backward_pass 方法清晰地展示了数据流和计算职责。
PartyB_LabelOwner 承担了损失计算和公共梯度生成的任务，因为只有它拥有标签 $Y$ 。
common_gradient_part 在这里直接传递，但在真实场景中，为了更强的隐私保护，它也可能被加密或秘密共享后再分发给各方。

通过这个流程和伪代码，我们可以看到垂直联邦学习如何在保护数据隐私的同时，实现各方数据的有效协同。

进阶议题与考量

垂直联邦学习并非一蹴而就，在实际部署和应用中，还需要考虑更多进阶议题。

深度学习中的垂直联邦学习

上述例子是基于逻辑回归的线性模型。当涉及到深度学习模型时，VFL 变得更加复杂。深度神经网络包含多个非线性激活函数，如何在不暴露中间激活值的情况下，安全地计算这些非线性函数及其梯度，是一个巨大的挑战。

挑战： 同态加密在处理非线性函数（如 ReLU, Sigmoid）时效率极低甚至无法直接支持，因为它主要支持加法和乘法。
解决方案：
- 近似函数： 使用多项式近似非线性激活函数，因为多项式可以通过同态乘法计算。但这会引入近似误差。
- 安全查找表（Secure Look-up Tables）： 对激活函数的输入进行秘密共享，然后通过MPC协议安全地查找其输出。
- Split Learning（拆分学习）： 将神经网络切分成多段，各方拥有不同的段。客户端训练前几层，将中间激活值发送给服务器（或另一方），服务器训练剩余的层。这种方法通常需要信任服务器或使用其他隐私技术（如差分隐私）来保护激活值。VFL 和 Split Learning 有交叉，VFL 通常强调更强的密码学隐私保证，而 Split Learning 可能更注重计算效率。
- MPC for specific layers： 对某些关键层（如全连接层、激活层）使用MPC协议进行安全计算，而其他层在本地计算。

隐私增强技术的进一步考量

同态加密的实用性：
- 性能： 目前的全同态加密（FHE）计算开销仍然非常大，难以应用于大规模深度学习。部分同态加密（PHE）如 Paillier 效率较高，但仅支持加法和数乘，限制了其应用范围。
- 噪声管理： FHE 系统在每次乘法运算后会引入“噪声”，当噪声积累到一定程度时，密文将无法被正确解密。需要定期进行“自举（bootstrapping）”操作来刷新噪声，但这又会增加巨大的计算成本。
- 参数选择： 密钥长度、安全级别等参数的选择，直接影响性能和安全性。
差分隐私（Differential Privacy, DP）：
- 概念： 通过向数据或梯度中注入随机噪声，使得单个数据记录的存在或缺失对模型结果的影响微乎其微，从而保护个体隐私。
- 在 VFL 中的应用： 可以在 VFL 的训练过程中，在各方本地梯度上传之前或聚合之后，加入差分隐私噪声，进一步增强隐私保护。DP 提供了数学上可证明的隐私保证，但代价是模型准确性可能下降。
零知识证明（Zero-Knowledge Proof, ZKP）：
- 概念： 允许一方（证明者）向另一方（验证者）证明某个声明是真实的，而无需透露除该声明是真实的之外的任何信息。
- 在 VFL 中的应用： 用于验证参与方是否正确执行了其计算（例如，是否正确计算了梯度，是否未作弊），而无需泄露计算的输入。这对于防范恶意或半恶意参与方非常有用，但其计算开销也很大。

性能与可伸缩性

垂直联邦学习的计算和通信开销是其大规模应用的主要障碍：

计算： 密码学运算（尤其是同态加密）比明文运算慢几个数量级。
通信： 加密数据通常比原始数据大，且需要多次交互。
挑战： 如何在隐私保护和效率之间找到最佳平衡点？
优化方向：
- 硬件加速： 利用 GPU、FPGA 或 ASIC 加速密码学运算。
- 算法优化： 设计更高效的 MPC 协议，或采用更轻量级的隐私保护方法。
- 模型剪枝/量化： 减小模型规模，降低计算复杂性。
- 异步训练： 允许各方异步上传更新，减少等待时间。

安全威胁与防御策略

尽管VFL旨在保护隐私，但仍面临多种潜在攻击：

推理攻击（Inference Attacks）： 恶意方试图从共享的中间结果（如梯度、预测值）反推出原始数据信息。
成员推理攻击（Membership Inference Attacks）： 推断某个特定用户是否参与了训练。
属性推理攻击（Attribute Inference Attacks）： 推断特定用户的敏感属性。
数据投毒攻击（Data Poisoning Attacks）： 恶意参与方注入恶意数据以破坏模型性能。
后门攻击（Backdoor Attacks）： 在特定输入下，模型表现出恶意行为。

防御策略：

差分隐私： 通过添加噪声，使推理攻击更难成功。
安全聚合： 确保聚合过程本身不会泄露单个参与方的贡献。
同态加密/秘密共享： 保护中间数据的机密性。
可信执行环境（Trusted Execution Environment, TEE）： 将部分敏感计算放入硬件隔离的 TEE 中执行，提供额外的安全层。
联邦验证/审计： 引入机制验证参与方的行为是否合规。

VFL 框架和平台

为了降低开发门槛，一些开源和商业框架已经开始支持垂直联邦学习：

FATE (Federated AI Technology Enabler)： 微众银行开源的联邦学习平台，提供了全面的 VFL 解决方案，包括基于 PSI、同态加密和秘密共享的模块。
PaddleFL： 百度开源的联邦学习框架，也支持 VFL。
OpenFL： Intel 开源的联邦学习框架，提供灵活的API。
PySyft： OpenMined 社区开发的库，专注于隐私保护的AI，提供了同态加密和秘密共享的实现，可以用于构建 VFL 应用。

这些框架极大地推动了 VFL 的研究和落地。

垂直联邦学习的广阔应用

垂直联邦学习不仅仅是一个技术概念，它正在多个行业中展现出巨大的应用潜力。

金融科技

联合风控： 银行（交易记录、信用分数）、电商（消费行为、历史订单）、电信运营商（通话时长、流量使用），共同构建更全面的用户信用画像，提升欺诈识别和信贷审批的准确性，同时保护用户隐私。
精准营销： 银行的理财产品偏好、社交媒体的用户兴趣、电商的购物习惯，联合分析以提供个性化金融服务推荐。