Sì, sto approfondendo l'architettura basata sia su ICMS che su Enfabrica. È una sorta di accordo Mellanox. Ma NVLink sarebbe così congestionato attorno a GPU, CPU e DPU. Nvidia deve semplificare il passaggio dei dati per kv e weight.

Penso che HBF sia sopravvalutato. In alcune parti, se si effettuano ulteriori e significative modifiche al software, potrebbe non essere inutilizzabile, ma affermare che possa sostituire HBM o che il mercato sia di dimensioni maggiori è pura fantasia. Se come scritto qui si tratta solo di caricare dati, non si tratterebbe di kv, ma di bias e pesi dello stesso modello, e in tal caso sarebbe estremamente scomodo da usare. [Notizie] Secondo gli esperti, HBF potrebbe essere integrato nelle GPU NVIDIA entro il 2027-28, e il mercato potrebbe superare HBM entro il 2038. Con l'aumento del carico di lavoro AI, la diffusione dell'High Bandwidth Flash (HBF) sta accelerando, e gli esperti prevedono una commercializzazione più rapida del previsto. Secondo il Sisa Journal, il professor Kim Jong-ho della KAIST, ampiamente conosciuto come il "padre di HBM", ha suggerito che Samsung Electronics e SanDisk pianificano di integrare HBF nei prodotti di NVIDIA, AMD e Google entro la fine del 2027 o all'inizio del 2028. Come indicato nel rapporto, il professor Kim ha aggiunto che, mentre lo sviluppo di HBM richiede oltre 10 anni, le aziende stanno già utilizzando l'expertise accumulata nei processi e nei design di HBM per avviare lo sviluppo di HBF, il che significa che HBF potrebbe essere commercializzato molto più rapidamente. Inoltre, Kim prevede che l'adozione di HBF si espanderà intorno all'introduzione di HBM6, e che entro il 2038 il mercato di HBF potrebbe superare HBM. Secondo Kim, HBM6 non sarà un singolo stack di memoria, ma più stack interconnessi come in un condominio. Con HBM basato su DRAM che affronta limiti di capacità, Kim ritiene che emergerà HBF basato su stack NAND per colmare quel divario. Il ruolo di HBF nell'inferenza AI e nell'architettura di sistema Riguardo al ruolo di HBF nei carichi di lavoro AI, Kim spiega che la GPU prima ottiene i dati variabili da HBM durante l'inferenza, li elabora e genera un output. Kim crede che in futuro HBF assumerà questo ruolo e fornirà capacità significativamente maggiori per supportare i compiti. HBM è veloce, ma HBF offre circa 10 volte la capacità. Come indicato nel rapporto, Kim sottolinea che HBF supporta cicli di lettura illimitati, mentre i cicli di scrittura sono limitati a circa 100.000, quindi il software di aziende come OpenAI e Google deve essere ottimizzato per operazioni a lettura intensiva. Kim aggiunge che il processo attuale di fornitura di dati alle GPU include un lungo percorso di trasmissione attraverso reti di archiviazione, processori di dati e pipeline GPU. In futuro, immagina un'architettura più snella che possa elaborare direttamente i dati dietro HBM. Questa struttura, prevista per HBM7, è talvolta chiamata "fabbrica di memoria". Samsung e SK Hynix spingono lo sviluppo di HBF Come evidenziato nel rapporto, SK Hynix prevede di rilasciare una versione dimostrativa di HBF entro la fine di questo mese. Inoltre, Samsung Electronics e SK Hynix hanno firmato un memorandum d'intesa (MOU) per promuovere la standardizzazione di HBF con SanDisk, e attualmente stanno portando avanti i loro sforzi attraverso un consorzio congiunto. Entrambe le aziende stanno attivamente sviluppando prodotti HBF, puntando a un lancio sul mercato nel 2027. Secondo fonti del settore citate nel rapporto, si stima che HBF possa raggiungere una larghezza di banda superiore a 1.638 GB/s, un notevole balzo rispetto ai normali SSD che forniscono circa 7.000 MB/s tramite NVMe PCIe 4.0. Per quanto riguarda la capacità, si prevede che HBF raggiunga un massimo di 512 GB, superando di gran lunga i 64 GB di HBM4.

Rame, punte da trapano Aggiornamento con Google TPU M9 grigio Panasonic è fortissimo Il TPU di Google guida la tecnologia CCL (Chip Cl) e i produttori di punte da trapano accolgono con favore l'aggiornamento. Con l'evoluzione della piattaforma ASIC verso requisiti di densità di calcolo e larghezza di banda più elevati, il TPU sviluppato internamente da Google entra in una nuova fase di aggiornamento delle specifiche. Secondo fonti della catena di approvvigionamento, Google prevede di aumentare il numero di strati PCB e il grado dei materiali CCL della piattaforma TPU di nuova generazione a partire dal 2026, offrendo opportunità di aggiornamento delle specifiche ai produttori di CCL in Giappone e Taiwan. Con l'aumento del numero di strati del circuito stampato e la crescente difficoltà dei materiali, anche la struttura della domanda di punte da trapano nel processo di produzione cambierà. Attualmente, la fornitura di CCL per il progetto TPU di Google è principalmente supportata da Panasonic in Giappone e Taikoo Technology a Taiwan. Ripensando alla generazione TPU V6e (serie Ghost), Panasonic ha affrontato una carenza di forniture di fibra di vetro a bassa costante dielettrica, mentre Taikoo Technology è entrata nella catena di approvvigionamento, guadagnando una certa quota. Secondo le stime della catena di approvvigionamento, nel nuovo progetto TPU di generazione, Panasonic fornirà circa il 70% e Taikoo Technology circa il 30%, suggerendo un ritorno a una struttura di fornitura più stabile. In base al design attuale, GhostLite e GhostFish della serie Ghost mantengono una configurazione conservativa di circa 22-24 strati di PCB e CCL di grado M7. Tuttavia, dopo il 2026, la piattaforma TPU passerà a ZebraFish e SunFish, con un notevole miglioramento delle specifiche complessive. Secondo fonti della catena di approvvigionamento, la nuova piattaforma adotterà CCL di grado M8/M9, con un aumento del numero di strati del PCB a 36 e 44 strati rispettivamente, e adotterà fibra ottica a bassa Dk di grado superiore e rame HVLP4, per soddisfare requisiti di larghezza di banda e consumo energetico più elevati. Con l'aumento del numero di strati del PCB e del grado dei materiali, la pressione sul processo di produzione sta aumentando rapidamente. Secondo gli operatori del settore, la domanda di punte da trapano per schede AI di alta gamma sta crescendo a un ritmo che supera di gran lunga il tasso di crescita della produzione di PCB. Tradizionalmente, il numero di utilizzi di una punta da trapano era di circa 3.000 volte, ma con l'adozione di schede AI di alta gamma, la sua vita utile è drasticamente diminuita a meno di 800 volte. In futuro, con l'introduzione di schede interposer M9 e schede madri ASIC, il numero di utilizzi di una punta da trapano potrebbe ulteriormente diminuire. Gli analisti del settore ritengono che il cambiamento nel design TPU di Google dopo il 2026 segni l'ingresso dell'ASIC in una nuova fase di "numero di strati elevato, specifiche dei materiali elevate, alto valore aggiunto". Questo si rifletterà non solo nel prezzo medio di vendita (ASP) dei prodotti CCL e PCB di alta gamma, ma avrà anche ripercussioni sulla catena di approvvigionamento upstream, come fibra di vetro a bassa costante dielettrica, rame HVLP di alta gamma e punte da trapano. La catena di approvvigionamento sta già adeguando le proprie configurazioni per rispondere all'adozione della nuova piattaforma.