Memory wall AI, la sfida di Majestic Labs a Nvidia

I modelli di intelligenza artificiale continuano a crescere in dimensioni, complessità e costi operativi. Più aumentano i parametri, più diventa difficile farli funzionare in modo rapido, stabile e sostenibile dal punto di vista economico. Il problema, sostengono ormai da tempo ingegneri e operatori del settore, non riguarda solo la potenza di calcolo.Riguarda soprattutto la memoria.

È qui che si forma uno dei principali colli di bottiglia dell’attuale infrastruttura AI: il cosiddetto memory wall, il muro della memoria.

Su questo fronte punta a inserirsi Majestic Labs AI, startup fondata da tre ex manager passati da Google e Meta. L’azienda sostiene di aver progettato un nuovo sistema server, chiamato Prometheus, pensato per affrontare proprio questo limite.

L’obiettivo dichiarato è permettere l’esecuzione di modelli linguistici enormi, nell’ordine di 5.000-10.000 miliardi di parametri, senza costringere data center e clienti a comprare quantità crescenti di chip solo per avere abbastanza memoria disponibile.

La società, nata dall’iniziativa di Ofer Shacham, Masumi Reynders e Sha Rabii, ha annunciato a novembre una raccolta da 100 milioni di dollari con il sostegno di investitori tra cui Bow Wave Capital, Lux Capital e Grove.

I tre fondatori hanno lavorato in Google sullo sviluppo e sulla commercializzazione delle prime generazioni di chip per data center e dispositivi mobili, per poi contribuire alla costruzione del team dedicato al silicio personalizzato di Meta Reality Labs.

Ora provano a ritagliarsi uno spazio in uno dei segmenti più affollati e strategici dell’industria tecnologica: quello dei semiconduttori per l’intelligenza artificiale.

Il nodo della memoria nei modelli più grandi

Negli ultimi anni il dibattito sui chip per l’AI si è concentrato spesso sulla capacità di calcolo. Nvidia è diventata il simbolo di questa corsa, grazie a gpu sempre più richieste per addestrare ed eseguire modelli generativi. Ma quando si passa dall’allenamento dei sistemi al loro impiego quotidiano, cioè alla fase di inference, emerge un problema meno visibile e altrettanto decisivo: la memoria disponibile per contenere il modello e alimentarne le risposte in tempo reale.

Quando un modello è molto grande, i chip possono trovarsi nella condizione paradossale di restare in attesa invece di lavorare. Hanno capacità di calcolo elevatissima, ma non abbastanza memoria locale per tenere a disposizione tutti i dati necessari. Il risultato è che devono recuperare informazioni da altri chip vicini o da altri livelli della gerarchia di memoria, con un rallentamento che annulla parte del vantaggio prestazionale.

Secondo Majestic, questo è il punto in cui molte infrastrutture attuali iniziano a perdere efficienza e redditività.

Sha Rabii ha sintetizzato il problema in modo diretto: quando la memoria non basta, i chip ad alte prestazioni rimangono inattivi mentre aspettano di ottenere risorse aggiuntive da altri componenti. In pratica, la velocità di elaborazione non viene sfruttata fino in fondo perché il sistema non riesce a nutrire i processori con la rapidità necessaria. Per i modelli più grandi, sostiene l’azienda, questa dinamica rende sempre meno sostenibile l’uso dell’infrastruttura esistente.

La proposta di Majestic Labs AI

Majestic afferma di aver progettato un’architettura diversa da quelle oggi dominanti. Il suo nuovo sistema server, Prometheus, integra centinaia di chip proprietari denominati AIU – sigla che sta per artificial intelligence processing unit. I fondatori sostengono che la caratteristica centrale del sistema non sia tanto la sola potenza di calcolo, quanto la quantità di memoria ad alta velocità che può essere associata ai processori.

Secondo quanto dichiarato dall’azienda, Prometheus può arrivare fino a 128 terabyte di memoria veloce per server. La configurazione sarebbe personalizzabile in base alle esigenze del cliente. La promessa è ambiziosa: eseguire in modo fluido modelli da 5 a 10 trilioni di parametri. Per rendere l’idea della distanza rispetto ai sistemi concorrenti, i fondatori affermano che i loro server offrano una capacità di memoria fino a 1.000 volte superiore rispetto alle Gpu prodotte da rivali come Nvidia.

Ofer Shacham, amministratore delegato della startup, ha descritto Prometheus come il primo processore per l’AI costruito partendo dalla memoria, e non dal calcolo, per affrontare i volumi richiesti dai modelli più grandi. È una scelta progettuale che prova a ribaltare la logica dominante del settore.

Invece di accumulare potenza e aggiungere memoria in un secondo momento, Majestic afferma di aver progettato il sistema a partire dal vincolo che oggi pesa di più sull’inferenza.

Perché l’inferenza è diventata il nuovo campo di battaglia

Il contesto di mercato aiuta a capire perché una startup come Majestic stia attirando attenzione e capitali. L’esplosione dell’AI generativa ha creato una domanda enorme non solo di chip per l’addestramento, ma anche di componenti capaci di rispondere rapidamente alle richieste degli utenti, consumando meno energia possibile.

L’inferenza è il momento in cui il modello produce testo, immagini, codice o altre risposte. È anche la fase che, su larga scala, può trasformare l’AI in un servizio commerciale costoso da mantenere.

La crescita dell’agentic AI, cioè di sistemi autonomi in grado di eseguire compiti come la scrittura di software o la gestione di processi complessi, ha aggravato la pressione sulle infrastrutture. Più agenti lavorano in parallelo, più aumentano le richieste di memoria, larghezza di banda e disponibilità di chip. In questo scenario i prezzi di noleggio dei componenti avanzati sono saliti in modo marcato, mentre alcuni servizi di intelligenza artificiale hanno registrato più interruzioni o hanno dovuto limitare l’uso da parte dei clienti.

Per molte aziende, quindi, il problema non è solo trovare potenza, ma trovarla a un costo che lasci margini. Se per eseguire un modello servono più chip del necessario solo per ottenere memoria sufficiente, l’intera architettura diventa meno efficiente. È da questo squilibrio che Majestic tenta di trarre vantaggio.

La concorrenza corre sullo stesso terreno

Majestic non si muove in uno spazio vuoto. L’inferenza è già diventata un terreno di scontro tra grandi gruppi e startup specializzate.

Advanced Micro Devices (AMD) ha promosso le sue nuove generazioni di chip come soluzioni adatte a questa fase operativa.

Nvidia, che resta il riferimento del mercato, ha rafforzato la sua presenza anche su questo segmento: alla fine dello scorso anno ha pagato 20 miliardi di dollari per ottenere in licenza la tecnologia e assumere il team dirigente della startup Groq, e ha poi annunciato un nuovo server orientato proprio all’inferenza.

Anche Google Cloud ha comunicato che la nuova generazione dei suoi processori TPU includerà un chip ottimizzato per il training e un altro specifico per l’inferenza, con attenzione alla memoria ad alta larghezza di banda.

Cerebras, altra società che lavora sui chip per l’inferenza, ha siglato quest’anno un accordo importante con Amazon Web Services e ad aprile ha presentato la documentazione per la quotazione in Borsa.

Questi movimenti indicano due cose. La prima è che il mercato vede nell’inferenza il passaggio decisivo per monetizzare davvero…