Nel nostro ultimo post sul blog, abbiamo mostrato come rompere gli schemi LLM che preservano la privacy, decodificando gli stati del modello permutati con una precisione quasi perfetta. Oggi vi presentiamo la nostra difesa: Cascade 🕵️ ♂️✨

Cascade garantisce la sicurezza dell'inferenza LLM suddividendo gli stati nascosti tra le parti tramite "token sharding"—ogni nodo vede solo alcuni token in sequenza. Più lontani sono i token di un nodo, maggiore è il costo di un attacco—che cresce esponenzialmente con la distanza.

Cascade mantiene la piena fedeltà nell'inferenza: nessuna approssimazione, nessuna matematica a virgola fissa. Suddivide il calcolo tra CompNodes (per MLP) e AttnNodes (per l'attenzione), preservando i risultati esatti tra le fasi distribuite.

Il punto cruciale di Cascade è uno schema di token-sharding che è robusto sia per il nostro attacco di ricostruzione che per gli attacchi noti basati sull'apprendimento. Nel documento dimostriamo che il nostro approccio, chiamato c-δ sharding, raggiunge una forte privacy senza compromettere la fedeltà.

Eseguiamo esperimenti approfonditi sulla sicurezza di Cascade contro gli attacchi basati sull'apprendimento. Sebbene manchi delle garanzie formali di SMPC, dimostriamo che con un numero sufficiente di nodi, Cascade è empiricamente robusto a questi attacchi.

Il beneficio più significativo di Cascade è la velocità e la scalabilità. Rispetto agli schemi SMPC esistenti come MPCFormer e Puma, Cascade è 2 ordini di grandezza più veloce, anche nella configurazione più sicura che abbiamo testato (72 partecipanti):

Cascade è stata motivata dalla necessità di trovare un nuovo paradigma nel compromesso tra privacy, sicurezza e scalabilità. Riteniamo che la sua idea di base, lo sharding dei token, raggiunga questo equilibrio e apra una nuova direzione per gli LLM che preservano la privacy.

Il nostro lavoro sia sull'attacco che sulla cascata è stato accettato all'ICML 2025 e sarà presentato il 16/7 alle 16:30 PST nella East Exhibition Hall A-B, Room E-2612, nel Vancouver Convention Center. Vieni a chiacchierare con noi! 🔗

Come join us for the Ritual social at ICML. Meet our AI and crypto research team, unwind with great people, and end your day the right way. It’s the perfect Ritual. Register here: