Il chip AMD MI450 versione personalizzata per Meta vede la potenza di calcolo dimezzata e una grande riduzione della memoria. SemiAnalysis: questa è la tristezza della cultura aziendale di Meta.

Una serie di errori decisionali di Meta nel settore delle infrastrutture AI sta rivelando, a caro prezzo di diversi miliardi di dollari, problemi profondi nella cultura organizzativa dell’azienda.

Secondo le ultime rivelazioni dell’istituto di ricerca nel settore dei chip SemiAnalysis, Meta sta chiedendo ad AMD di realizzare una versione customizzata fortemente depotenziata del chip MI450X: il numero di unità di calcolo è stato dimezzato, lo stack di memoria HBM è stato ridotto da 12 strati a 8, e la capacità di memoria è calata di quasi due terzi. SemiAnalysis definisce direttamente questa decisione come “catastrofica” e lancia pubblicamente un appello ad AMD affinché aggiri il team infrastrutturale di Meta, interfacciandosi direttamente con il super laboratorio di intelligenza di Meta, TBD Lab, per promuovere l’acquisto della MI450X in versione standard.

Questo episodio non è isolato. SemiAnalysis osserva che, dall’acquisizione di Rivos per oltre 2,5 miliardi di dollari, al server custom H100 Grand Teton, fino alla soluzione custom Ariel per GB200, il pattern decisionale del team infrastrutture di Meta mostra una costante tendenza all'over-engineering, alla mancanza di progettazione sinergica hardware-software, e al prevalere di logiche politiche di breve termine sulla validità tecnica a lungo termine. “Il team infrastrutture di Meta ha bisogno di un vero reset culturale”, scrive SemiAnalysis.

AMD MI450X è attualmente una delle GPU dal design in silicio più avanzato sul mercato: tecnologia di produzione a 2nm, packaging con bond ibrido, 12 strati di memoria HBM4 impilati, e la maschera CoWoS di maggiori dimensioni disponibili, rappresentano il top della densità di packaging e storage odierna.

Tuttavia, secondo SemiAnalysis, la versione custom ordinata da Meta dimezzerà l’area del silicio di calcolo e porterà lo stack HBM da 12-Hi a 8-Hi, andando a ridurre sia la potenza computazionale che la larghezza di banda della memoria, due parametri core. Il team infrastrutture di Meta giustifica la scelta affermando che questa configurazione è progettata per carichi di lavoro legati ai sistemi di raccomandazione (RecSys), per migliorare il rapporto CPU/GPU.

Il problema, però, è che la decisione è stata presa prima della nascita di TBD Lab, che rappresenta il team di ricerca core sui grandi modelli di Meta, il quale non ha alcun interesse per questo chip. SemiAnalysis afferma chiaramente che, rispetto alla Vera Rubin di Nvidia, la MI450 depotenziata non ha alcuna attrattiva per TBD Lab: “TBD propenderà fortemente per Rubin”. Questo implica che le spedizioni di AMD a Meta saranno fortemente penalizzate da questa scelta.

SemiAnalysis, nel rapporto, si rivolge apertamente ad AMD: “AMD deve intervenire, collaborando direttamente con il team TBD per assicurarsi che dispongano della versione standard della MI450, e non di questa versione castrata inutilizzabile per la GenAI.”

Un altro caso emblematico di errore nelle decisioni del team infrastrutture di Meta è l’acquisizione di Rivos, conclusa nel 2024 per oltre 2,5 miliardi di dollari.

Secondo SemiAnalysis, pochi nell’unità chip interna a Meta hanno davvero compreso la logica strategica di questa acquisizione, e chi spinse per il deal è rimasto poi in silenzio. L’opinione prevalente era che Meta, con abbondanza di capitali e con una crescente attenzione ai chip custom, insieme ai precedenti accordi di licenza IP con Rivos, ritenesse più conveniente inglobare la società per intero.

La struttura same dell’accordo, però, ha portato con sé delle problematiche latenti. Il team fondatore di Rivos ha preteso di vendere in blocco tutta la forza lavoro, costringendo Meta ad acquisire l’intera azienda e a procedere poi a una massiccia soppressione dei reparti ritenuti non necessari. Secondo ex membri del team chip di Meta citati nella notizia, l’acquisizione fu condotta dal responsabile dei chip di Meta, Yee Jiun Song, che dovette affrontare opposizioni interne e che, dopo la conclusione dell’accordo, ha perso interesse. Gli attuali manager del team chip considerano gli ingegneri ex Rivos come “forza lavoro gratuita”, redistribuendoli nelle loro unità e demolendo la struttura originaria del team.

Dal punto di vista tecnologico, il vero valore dell’acquisizione—l’IP GPU SIMT di Rivos—è svanito, perché il progetto “Olympus” che avrebbe dovuto implementarli è stato cancellato. Il progetto sostitutivo “Phoebe” potrebbe non vedere la luce prima del 2028 e, secondo SemiAnalysis, internamente ci sono molti dubbi sul fatto che verrà mai portato a termine.

Preoccupante anche l’emorragia di personale. SemiAnalysis riporta che circa il 30% degli impiegati di Rivos ha lasciato a seguito dei tagli di personale, il co-fondatore Mark Hayter si è già dimesso, e altri ex dipendenti sono passati, una volta maturati i primi RSU nel maggio 2024, alla startup Nuvacore fondata da Gerard Williams. Inoltre, SemiAnalysis rivela che il CEO e co-fondatore Puneet Kumar potrebbe lasciare l’azienda in uno o due anni, una volta maturate tutte le sue azioni Meta.

La tendenza di Meta alla customizzazione spinta non è una novità. Il server custom H100 Grand Teton, sulla base del server HGX standard, aggiungeva uno chassis di switch aggiuntivo, con quattro switch PCIe Broadcom, 16 SSD e otto schede di rete, con l’obiettivo di fornire storage diretto extra per ogni server, destinato al salvataggio di checkpoint di training.

Tuttavia, nella produzione reale, l’utilizzo effettivo di questi storage da parte del team modello è risultato molto inferiore alle previsioni, e tale scelta progettuale è stata poi abbandonata. SemiAnalysis sottolinea che questo è il classico caso di mancanza di sinergia tra hardware e software in Meta: il team infrastrutture ha affrontato costi di materiali e consumi maggiori per funzionalità poco utilizzate, incrementando anche la dipendenza da Broadcom e andando nella direzione opposta rispetto all’obiettivo di Meta di ridurre la propria dipendenza dai network device Nvidia.

Nell’epoca Blackwell, la soluzione custom di Meta “Ariel” segue una logica simile. Lo standard GB200 prevede che ogni CPU Grace sia abbinata a due GPU B200, ma Ariel scende a un rapporto uno a uno, dimezzando il numero di GPU. Anche qui, la motivazione è l’ottimizzazione per carichi RecSys e il conseguente rapporto CPU più elevato.

Calcoli di SemiAnalysis mostrano che la soluzione Ariel NVL36x2 ha un Total Cost of Ownership (TCO) superiore del 14% rispetto al modello standard GB200 NVL72, mentre le risorse addizionali di CPU e DRAM ottenute sono esattamente quello di cui il team grandi modelli non ha bisogno. L’uso di un collegamento tra rack per compensare la minore quantità di GPU davanti al deficit di connettività introduce problemi di latenza e affidabilità. Intanto, la backplane NVL72, inizialmente ritenuta instabile, è ormai maturata, dimostrando che le preoccupazioni originali di Meta erano infondate.

SemiAnalysis conclude che i server GB300 di Meta sono tornati alla configurazione standard—un’ammissione implicita del fallimento della soluzione Ariel.

SemiAnalysis attribuisce i problemi sopracitati alla cultura organizzativa del team infrastrutture di Meta.

Secondo l’istituto, il ciclo di valutazione sulle performance ogni sei mesi, che porta all’eliminazione del 10–15% del personale peggio valutato, induce il team a focalizzarsi su risultati immediati e visibili, trascurando l’impostazione tecnica di lungo termine. Parte del management privilegia progetti con alta esposizione mediatica e risultati rapidi, per poi cambiare subito obiettivo: questo approccio è definito internamente “window washing”. Nel frattempo, pochi hanno il coraggio di mettere in discussione le decisioni superiori, col risultato che gli errori vengono raramente corretti in tempo.

Il team supply chain ha scarso potere nelle decisioni ingegneristiche, amplificando i problemi. SemiAnalysis segnala che alcuni fornitori, esasperati dai frequenti cambi di rotta di Meta, hanno iniziato a dare priorità ai progetti di Amazon o Google, riducendo quella ai nuovi progetti Meta.

SemiAnalysis paragona la situazione allo sviluppo di Meta Reality Labs—prima dei licenziamenti di massa, decine di miliardi sono stati investiti in enormi team e progetti di R&D. Ora che Meta sta iniziando a vendere potenza di calcolo ai clienti esterni, il costo di questa cultura interna emergerà in modo ancora più diretto all’interno del mercato.