在上一篇博文中，我们展示了如何打破保护隐私的 LLM 方案——以近乎完美的精度解码排列模型状态。 今天，我们展示我们的防御：Cascade 🕵️ ♂️✨

Cascade通过"令牌分片"将隐藏状态分割到各方，从而确保LLM推理的安全性——每个节点仅按顺序查看少量令牌。节点的令牌之间距离越远，攻击的成本就越高——随着距离的增加呈指数增长。

级联在推理中保持完全保真——没有近似值，没有定点数学。它在 CompNode（用于 MLP）和 AttnNodes（用于注意力）之间拆分计算，从而在分布式阶段保留准确的结果。

Cascade 的关键是一种代币分片方案，它对我们的重建攻击和已知的基于学习的攻击都具有鲁棒性。我们在论文中证明了我们的方法，称为 c-δ 分片，可以在不影响保真度的情况下实现强大的隐私。

我们对 Cascade 针对基于学习的攻击的安全性进行了广泛的实验。虽然它缺乏 SMPC 的形式保证，但我们证明，有了足够的节点，Cascade 在经验上对这些攻击是稳健的。

Cascade 最显著的好处是速度和可扩展性。与现有的 SMPC 方案如 MPCFormer 和 Puma 相比，Cascade 快了两个数量级，即使在我们测试的最安全设置（72 个参与者）下也是如此：

Cascade 的动机是需要在隐私、安全性和可扩展性之间找到一种新的范式。我们相信其核心理念——代币分片——实现了这种平衡，并为保护隐私的法学硕士开辟了新的方向。

我们在攻击和 Cascade 方面的工作在 ICML 2025 上被接受，并将于 7 月 16 日太平洋标准时间下午 4：30 在温哥华会议中心东展厅 A-B E-2612 室进行展示。 快来和我们聊聊吧！ 🔗

快来加入我们 ICML 的仪式社交活动。认识我们的人工智能和加密货币研究团队，与优秀的人一起放松身心，以正确的方式结束您的一天。这是完美的仪式。 在这里注册：