近几年，模型反演（Model inversion, MI）攻击备受关注。MI 攻击是指滥用经过训练的机器学习（ML）模型，并借此推断模型原始训练数据中的敏感信息。遭受攻击的模型经常会在反演期间被冻结，从而被攻击者用于引导训练生成对抗网络之类的生成器，最终重建模型原始训练数据的分布。
因此，审查 MI 技术对正确建立模型保护机制至关重要。
借助单一模型高质量地重建训练数据的过程非常复杂，然而，现有的 MI 相关文献并没有考虑到多个模型同时被攻击的可能性，这类情况中攻击者可以找到额外的信息和切入点。
如果攻击成功，原始训练样本泄露，而其训练数据中如果包含个人的身份信息，那么数据集中的数据本体的隐私将会受到威胁。
集成反演技术
苹果的研究人员提出了一种集成反演的技术，借助生成器来估计模型原始训练数据的分布，而该生成器则被限制在一系列共享对象或实体的训练模型之中。
对比使用单一机器学习模型的 MI，使用该技术生成的样本质量得到了显著的提升，并具备了区分数据集实体间属性的能力。这证明了如果借助与预期训练结果相类似的辅助数据集，可以在不使用任何数据集的情况下依旧可以得到高质量结果，改善反演的结果。通过深入研究集成中模型多样性对结果的影响，并添加多重限制以激励重建样本获得高精确度和高激活度，训练图片的重建准确程度得到了提升。
对比针对单一模型的 MI 攻击，该研究所提出的模型在重建性能上展现了明显的提升。该研究不仅利用最远模型采样法（FMS）进行集成中模型多样性的优化，还创建了一个模型间等级对应关系明确的反演集成，模型的输出向量中的增强信息也被用来生成更优的限制条件，以更好地确定目标质量的高低。
通过随机训练的形式，小批量随机梯度下降（SGD）这类的主流动态卷积神经网络（DCNN），可以使用任意的大型数据集进行训练。DCNN 模型对训练数据集中最初的随机权重和统计上的噪音非常敏感，而由于学习算法的随机性，同一训练集可能会生成侧重特征不同的模型。因此，为减少差异性，研究者一般会使用集成学习，一种简单的技巧来提升 DCNN 辨别式训练的性能。
