联合国发布报告：从各国统计局的视角分析联邦学习聚合策略

Original 隐宝开放隐私计算 2024-01-09

在联合国PETLab帮助下，来自加拿大、意大利、荷兰的国家统计局的研究人员在HLG-MOS小组的研究基础上，深入探究了使用联邦学习从机密数据中生成统计数据的有效性。

该研究在分布式环境中测试了四种不同的聚合策略：FedAvg（联邦平均）、FedYogi、FedAdagrad和FedAdam，以探索它们在评估更新的中心模型时的普通实现如何比较。结果显示：FedAvg的整体表现最好，而FedYogi的表现良好，但误报率较高。

该研究还探讨了不同隐私预算下的差分隐私的保护效力。FedAvg 和 FedYogi 总体上仍然表现最好。由于初始性能较差，添加的噪声有时确实会改善 FedAdagrad 和 FedAdam 的结果。这表明，当无法获取数据但聚合策略的选择至关重要并且需要根据用例进行调整时，联邦学习是 NSO 可以考虑的可行技术。一般来说，FedAvg 和 FedYogi 是与差异隐私一起使用的良好方法，NSO 还可以利用同态加密来帮助保护客户端模型，但其计算成本较高。

介绍

联邦学习背景

国家统计局 (NSO) 和一些大公司拥有高质量数据，向公众提供重要统计数据、辅助领导人决策并改善业务运营。但是，数据的收集和传播涉面临着非常大的泄露风险，需要有更好的手段去保护个人隐私。对于国家统计局来说，可以通过法律（例如加拿大统计法）强制保护这些数据。为此，国家统计局一直在使用各种方法来保护收集的数据和发布的任何统计数据。然而，根据法律依据一些敏感性高的数据是禁止收集的，但这些高敏感性数据又是决策中非常重要的信息。在无法收集数据但为了公众的利益需要生成某些数据统计数据的情况下，联邦学习（FL）是一种可以使用的技术。

隐私增强技术 (PET) 是一种积极研究的技术，它提供了增强数据隐私的新方法。PET 可以支持各种用例，例如通过差分隐私 (DP)（UNECE，2023）防御成员资格推断和链接攻击。虽然 PET 有很多种，但 FL 是一种允许在分布式环境中训练机器学习 (ML) 模型的方法，而无需数据离开客户端设备。使用这种方法，国家统计局或其他组织可以配置调查、众包活动或协作，以根据不会收集的数据生成统计数据。

为了在考虑流程的一些潜在问题时获得稳健的模型，可以在 FL 设置中应用各种聚合策略。我们可以将聚合策略分为两种主要类型：客户端方差减少和自适应全局模型更新。前者侧重于减少全局模型更新过程中客户端模型之间的差异，后者是一种专注于根据客户表现调整全局模型更新过程的方法。这两种方法都旨在提高 FL 中全局模型更新过程的效率和有效性。

联邦学习聚合策略

在这项工作中，我们重点关注自适应全局模型更新聚合策略，特别是以下策略：FedAvg、FedAdam、FedAdagrad 和 FedYogi。

FedAvg（联邦平均）是一种 FL 算法，旨在通过计算模型参数的平均值，从多个客户端的本地模型更新中训练全局模型。该平均值是针对所有客户端计算的，聚合模型用于进一步的训练迭代。

FedAdagrad（联合自适应梯度）是一种变体算法，利用称为 Adagrad 的自适应梯度下降方法。它根据每个模型参数的历史梯度调整学习率，使模型能够更快地收敛并获得更好的性能。这是一种基于平均梯度而不是直接参数的技术。

FedAdam（Federated Adam）是另一种 FL 算法，它结合了 Adam 优化器和 FL 设置的优点。它采用自适应学习率和动量，通过使用来自客户端的本地更新来有效地更新全局模型。由设备本地计算的梯度被聚合在中央服务器中。这是通过使用聚合算法（例如加权平均）组合梯度来获得近似全局梯度来完成的。

FedYogi（Federated Yogi）是一种受 Yogi 优化器启发的 FL 算法。它结合了自适应学习率和动量的元素来处理 FL 场景中的非凸优化问题。

差分隐私

DP 使用隐私预算 ε 来确定向数据中注入多少噪声。ε 的值越低，ML 模型就越私密。使用的隐私越多，模型的整体性能就越差；因此，在隐私和实用之间找到良好的平衡至关重要。在这项工作中，我们在客户端执行差分隐私训练时测试了各种 ε 值，以了解分布式环境中的权衡。

同态加密

HE（Homomorphic Encryption，同态加密）是一种加密技术，允许对加密数据执行数学运算。计算结果也被加密，一旦解密，结果应该与对原始未加密数据执行操作相同。HE 的一个重要用例是安全委托计算，在这种情况下，一方或多方将对敏感数据的一些计算委托给第三方，例如云计算提供商。由于数据的敏感性和隐私问题，委托人不希望云提供商看到数据。然而，委托人也可能缺乏计算资源，因此需要云提供商的帮助来完成特定任务。使用HE，如果委托者使用私钥加密数据并将公钥（和评估密钥）发送给提供者，则可以在提供者的前提下安全地进行计算。计算完成后，委托人可以检索加密结果并使用其私钥对其进行解密。

而在 NSO 环境中也有使用 HE 训练 ML 模型的需求。对于联邦学习而言，HE 可用于防止中央机构偷看客户收到的各个模型。特别是，联合客户端可以持有私钥并将加密模型发送到服务器，该服务器使用公钥和评估密钥对加密模型执行聚合。这可以防止服务器或聚合器检查客户端发送的本地模型。但是，使用HE会带来较大的成本开销，在这种情况下，计算、内存和通信成本会更高。

探索联邦学习聚合策略和差异化私人训练

本节将介绍所进行的实验的结果，这些实验比较和评估四种不同的聚合策略和差分隐私的影响。

模拟定义

为了执行 FL 模拟，我们利用 Flower 库来完成快速搭建联邦学习的模型。差分隐私的的三个目标隐私预算为 ε = {10, 1, 0.3}，δ 值为 1e-5。

实验的数据集是由 7,352 个数据点和 561 个变量组成的 HAR 数据集。20% 的验证比例用于评估。模型评价指标为f1得分。

模拟实验采用超参数如表1所示：

表1：超参数设置

模拟结果

图 1.联邦学习训练期间的准确度分数

图1展示了不同聚合算法对准确度的影响，从准确率曲线可以明显看出，FedAvg 和 FedYogi 在整个训练过程中优于 FedAdagrad 和 FedAdam。两者最终都具有更高的整体准确度，并且立即获得很强的准确度结果，而不是一开始就表现不佳。总体而言，FedAvg 的准确性更高，并且比其他方法更快地获得更好的结果。FedAdagrad 总体表现最差，但最终的准确度与 FedAdam 相似。FedAdagrad 在最后也持续增加，这表明更多的训练时间可以提高性能，但使用此配置达到强结果的速度较慢。随着准确性频繁降低和提高，FedAdam 也比其他选项有更大的波动。

图2：联邦学习训练期间的 F1 分数

当考虑 f1 分数时，总体性能与准确度观察到的结果相同，但总体分数较差。具体来说，每个类别的 FedAdagrad 和 FedAdam f1 分数似乎因每个类别标签而大幅波动，而 FedAvg 和 FedYogi 总体上做得更好。FedAvg 在所有六个子集中始终表现良好，但 FedYogi 学习某些课程的速度很慢，导致总体分数较低。总的来说，在不使用差分私人训练的情况下，FedAvg 表现最好，FedYogi 表现也很好。因此实验可以将 FedAvg 或 FedYogi 视为强大的聚合策略，用于 FL 实现的初始评估。

当隐私预算 ε 足够小时，这可以更好地保护生成的模型并有助于减轻某些风险。整体表现强劲的FedAvg和FedYogi表现出预期的结果。随着隐私预算的增加，整体性能会降低。对于这两种策略，由于几乎没有添加隐私，因此 ε = 10 的结果几乎收敛于正常输出。随着更多隐私的注入，性能会下降。观察每个类别的 f1 分数表明，当 ε 较小时，少数类别难以快速学习，从而导致总体结果下降。虽然大多数类都是慢慢学习的，但有些策略很难学习 ε 值减小的“Walking_downstairs”类。如果进行更多轮次，随着表现不佳的类别预测的改善，总体结果可能会略有增加。

当使用 DP 进行训练时，FedAdagrad 和 FedAdam 在结果中展示了不同的行为。在某些情况下，DP 不仅不会导致性能持续下降，反而有助于提高性能。这可以归因于该实验中的模型可能未经优化调整。由于初始性能较低，DP 添加的噪声最终可能会有所帮助。

同态联邦学习

为了在 FL 设置中测试 HE，我们考虑三种不同的场景：(1) 加密模型的最后一个线性层，(2) 加密最后两层，(3) 加密最后三层（保留激活层）。每个 NSO 都使用 Paillier 密码系统持有一通用的私钥和公钥，该公钥密码系统是同态相加的，因此，使用 Paillier HE，我们可以在加密层和明文层上计算。

表2：联邦学习仿真结果中的同态加密

在表 2 中，我们展示了同态加密的 FedAvg (eFedAvg) 与 FedAvg 的相对结果。结果显示：

加密模型扩展是未加密模型的 350,000 倍
加密-序列化和解密-反序列化步骤分别花费了84,000倍和155,000倍的时间

而使用CKKS方案，密文大了 115,000 倍，但加密和解密步骤更快（11,000 倍和 50,000 倍）分别更快）

结论和讨论

FedAvg 和 FedYogi 是性能强大的聚合策略，虽然将 DP 与这些策略一起使用会降低其有效性，但最终模型可以更好地抵御攻击。对于探索使用 FL 可能性的 NSO 来说，仔细测试和考虑可用的聚合策略，同时确保它们得到适当调整非常重要，FedAvg 的简单性也使其更容易与 HE 一起使用。

在设计 FL 环境时，仍应适当考虑传统的 ML 考虑因素，例如不平衡数据。当需要委托计算时，HE 可以更好地帮助保护数据，以确保其他人无法查看或从传递的权重或梯度中推断信息。虽然单独使用 FL 并不能缓解所有潜在的隐私问题，例如攻击客户端的本地模型以推断信息，但使用 DP 和/或 HE 可以根据用例的要求缓解其中的一些缺点。

END

热门文章:

隐私计算头条周刊（08.28-09.03）

零知识证明的三个典型案例

漫画科普丨隐私计算如何实现数据可用不可见？

好书相赠 | 《元宇宙进化逻辑——用确定性的逻辑诠释不确定的未来》

加入我们丨OpenMPC社区招募实习生

继续滑动看下一个