论文分享｜PEA：用差分隐私保护多方学习训练的模型
- 培训职业
- 2025-05-05 03:28:14
随着欧盟《通用数据保护条例》的出台，数据传输受到严格限制。基于多方计算（MPL）的机器学习，为在不泄露私人信息前提下利用跨各方数据提供了可能。然而，MPL训练的模型容易遭受只依赖模型访问的攻击，差分隐私技术在此场景下显得尤为重要。尽管差分隐私有助于增强安全性，但其引入的精度损失与多方计算协议的巨大通信开销，使得在保护隐私、提升效率与保证模型准确性之间达到平衡变得极具挑战性。
本文提出PEA（Private, Efficient, Accurate）方案，旨在解决上述问题。PEA由安全的差分隐私随机梯度下降（DPSGD）协议，以及两个优化方法组成。首先，设计安全的DPSGD协议，允许在秘密共享的MPL框架中执行，强化模型隐私保护。其次，提出优化方法以减少精度损失和提升MPL效率：一、进行与数据无关的特征提取，简化训练模型结构；二、采用本地数据进行全局模型初始化，加速模型收敛。
在TF-Encrypted和Queqiao框架中实现PEA，分别称其版本为TF-Encrypted和Queqiao。实验结果表明，PEA显著提高效率与效果。例如，在局域网环境下，可利用PEA在7分钟内为CIFAR-10训练一个准确率高达88%的差异化私有分类模型。这一表现对比最先进框架CryptGPU，即使在相同精度下训练非私有的深度神经网络模型，也需要长达16小时以上的时间。
综上所述，PEA在多方学习训练模型中，通过安全DPSGD协议与优化方法，实现了更高隐私保护、更快训练速度及更佳模型准确性之间的平衡，为多方计算框架下的机器学习提供了更安全有效的解决方案。
多重随机标签