NVIDIA ha appena pubblicato un documento che potrebbe risolvere il più grande compromesso negli LLM. Velocità vs. Qualità. I modelli autoregressivi (come GPT) sono intelligenti ma lenti - generano un token alla volta, lasciando la maggior parte della tua GPU inattiva. I modelli di diffusione sono veloci ma spesso producono output incoerenti. TiDAR ti offre entrambi in un'unica passata in avanti. Ecco la parte geniale: Le GPU moderne possono elaborare molti più token di quanti ne utilizziamo effettivamente. TiDAR sfrutta questi "slot gratuiti" facendo: 1. Bozze di più token contemporaneamente utilizzando la diffusione (la fase del "pensare") 2. Verifica di essi utilizzando l'autoregressione (la fase del "parlare") Entrambi avvengono simultaneamente utilizzando maschere di attenzione intelligenti - bidirezionali per la bozza, causali per la verifica. I risultati: ↳ 4,71 volte più veloce a 1,5 miliardi di parametri senza perdita di qualità ↳ Quasi 6 volte più veloce a 8 miliardi di parametri ↳ Prima architettura a superare il decoding speculativo (EAGLE-3) ↳ Funziona con la cache KV standard, a differenza dei modelli di diffusione puri Il trucco di addestramento è astuto anche - invece di mascherare casualmente i token, mascherano tutto. Questo fornisce segnali di apprendimento più forti e consente una bozza efficiente in un singolo passaggio. Se stai costruendo agenti AI in tempo reale dove la latenza rovina l'esperienza, questa architettura merita attenzione. Link al documento nel tweet successivo.

Gli agenti stanno ora affrontando un nuovo ostacolo! E non è dovuto a calcolo, memoria o LLM! Abbiamo trascorso decenni a progettare API per sviluppatori che leggono documentazione, comprendono il contesto e possono improvvisare quando le cose vanno male. Tuttavia, gli agenti AI non possono fare nulla di tutto ciò. Hanno bisogno di una coerenza perfetta, di tutto leggibile dalle macchine e di zero ambiguità. Quindi, la maggior parte delle API progettate originariamente per gli esseri umani sono ora terribili per il consumo da parte dell'AI. E questo divario sta già diventando un problema per tutti, poiché gli agenti AI sono ora i principali consumatori di API. @getpostman ha rilasciato una Valutazione della Maturità delle API che risolve questo problema, e stanno lavorando con me oggi su questo post per condividere di cosa si tratta. Mostra esattamente a che punto ti trovi su 6 dimensioni critiche: - Impatto: Le API stanno realmente guidando i risultati aziendali? - Scoperta: Gli agenti possono persino trovare le tue API, per non parlare di usarle efficacemente? - Qualità: Hai controlli automatizzati che rilevano problemi prima che un agente metta sotto pressione il tuo sistema? - Governance: C'è una struttura coerente che le macchine possono comprendere? - Sicurezza: Puoi gestire agenti AI che effettuano 1000 volte più chiamate degli esseri umani? - Prontezza all'AI: Le macchine possono consumare le tue API con la stessa facilità degli esseri umani? La valutazione richiede 5 minuti e ti mostra esattamente dove sono i divari. Ciò che è interessante è come collega la maturità delle API direttamente alla prontezza all'AI. Non si tratta più solo di avere buone API. Invece, si tratta di avere API che possono essere consumate, comprese e sfruttate dalla prossima generazione di sistemi AI. La maggior parte dei team con cui parlo pensa di essere pronta perché hanno "buona documentazione." Ma buono per gli esseri umani non equivale a buono per le macchine. Ho condiviso una valutazione nelle risposte.

Grande svolta qui! Qualcuno ha risolto ogni grande difetto nei Jupyter Notebooks. Il formato .ipynb è bloccato nel 2014. È stato costruito per un'epoca diversa - niente collaborazione nel cloud, niente agenti AI, niente flussi di lavoro di squadra. Cambia una cella e ottieni oltre 50 righe di metadati JSON nel tuo git diff. Le revisioni del codice diventano un incubo. Vuoi condividere una connessione al database tra i notebook? Configuralo separatamente in ognuno. Hai bisogno di commenti o permessi? Peccato. Jupyter funziona per analisi singole ma si rompe per i team che costruiscono sistemi AI in produzione. Deepnote ha appena open-sourced la soluzione (licenza Apache 2.0) Hanno costruito un nuovo standard di notebook che si adatta realmente ai flussi di lavoro moderni: ↳ YAML leggibile dall'uomo - I git diffs mostrano i cambiamenti reali del codice, non il rumore JSON. Le revisioni del codice finalmente funzionano. ↳ Struttura basata su progetti - Più notebook condividono integrazioni, segreti e impostazioni ambientali. Configura una volta, usa ovunque. ↳ 23 nuovi blocchi - SQL, input interattivi, grafici e KPI come cittadini di prima classe. Costruisci app di dati, non solo notebook di analisi. ↳ Supporto multi-lingua - Python e SQL in un solo notebook. Il lavoro moderno sui dati non è più monolingue. ↳ Compatibilità totale in avanti e indietro: converti qualsiasi notebook Jupyter in Deepnote e viceversa con un comando. npx @ deepnote/convert notebook.ipynb Poi aprilo in VS Code, Cursor, WindSurf o Antigravity. I tuoi notebook esistenti migrano istantaneamente. La loro versione cloud aggiunge collaborazione in tempo reale con commenti, permessi e modifica dal vivo. Ho condiviso il link del repo GitHub nelle risposte! È 100% open-source.