DeepSeek V4.1-Flash: architettura, prezzi e mercato

Un modello che accende 8 miliardi di parametri quando legge il contesto e 16 quando genera la risposta, su 552 totali. La scheda di DeepSeek-V4.1-Flash, pubblicata il 10 settembre insieme ai pesi, cioè ai parametri numerici che formano il modello addestrato, distribuiti su Hugging Face con licenza MIT, si legge come un documento di ingegneria della memoria.

E in effetti il technical report che l’accompagna porta in titolo la compressione della KV cache, la memoria di lavoro in cui il modello tiene tutto quello che ha già letto nella conversazione in corso.

La conseguenza commerciale arriva quattro giorni dopo. Dal 14 settembre le chiamate all’endpoint deepseek-v4-pro, l’indirizzo a cui le applicazioni recapitano le richieste dirette al modello di punta da 1.600 miliardi di parametri, verranno instradate su questo Flash da 552 e fatturate a tariffa Flash.

Un laboratorio cinese ha appena mandato in pensione il proprio modello più grande sostituendolo con uno tre volte più piccolo, senza aspettare la generazione successiva e senza chiedere a nessuno di cambiare una riga di integrazione.

Chi compra token per far girare agenti farebbe bene a leggere il report tecnico prima del comunicato. Il listino di DeepSeek non è mai stato una scelta di marketing, discende da quanto costa tenere in memoria il contesto di una sessione lunga, e ogni rilascio dell’azienda dal 2024 in poi ha lavorato su quella voce di costo.

890 byte per token: l’architettura CED

V4.1-Flash è un Mixture-of-Experts multimodale da 552 miliardi di parametri, ossia un modello che di quei 552 miliardi ne accende soltanto una frazione a ogni passo, scegliendo di volta in volta quali sottoreti specializzate interpellare, e che elabora nativamente sia testo sia immagini. La finestra di contesto arriva a un milione di token, l’unità minima di testo che i modelli contano e fatturano, in italiano più o meno tre quarti di parola: qualche migliaio di pagine di documenti tenute insieme in una sola sessione. L’output può spingersi fino a 384mila token.

Causal Encoder-Decoder

La novità architetturale si chiama Causal Encoder-Decoder: un transformer da 40 livelli organizzato in 20 di encoder causale, la parte che legge, seguiti da 20 di decoder, la parte che scrive, dove la KV cache globale del decoder viene proiettata dagli stati finali dell’encoder invece che derivata livello per livello. Da lì nasce l’asimmetria che spiega tutto il resto, 8 miliardi di parametri attivi in fase di prefill, quando il modello ingoia la domanda e tutto il materiale allegato, e 16 in fase di decode, quando produce la risposta un pezzo alla volta.

Sopra c’è la Compressed Sparse Attention 2, che assegna a ogni livello di attenzione una modalità fissa fra Full, Reindex e Reuse per condividere le chiavi fra livelli e riutilizzare gli indici di attenzione sparsa. L’attenzione sparsa è il meccanismo per cui un modello, invece di rileggere ogni parola già vista a ogni nuovo passo, ne consulta soltanto una selezione, e il costo smette di crescere in modo quadratico con la lunghezza del testo.

Si aggiunge un caching FP4 delle chiavi principali, una rappresentazione numerica a quattro bit al posto dei sedici abituali, quattro volte più compatta, con una perdita di precisione che il modello viene addestrato a tollerare. Il risultato misurabile è quello del titolo: 890 byte di cache globale per token, circa un quarto di DeepSeek-V4-Flash e 437 volte meno della prima generazione di modelli dell’azienda. La cache persistente su disco scende a un ottavo, grazie a una tecnica che ricostruisce gli stati mancanti rigiocando soltanto gli ultimi token della finestra scorrevole.

DeepSeek spiega perché ha lavorato lì. L’adozione di agenti a lungo orizzonte ha reso i carichi «increasingly input-heavy», sempre più sbilanciati sull’input, il prefill resta computazionalmente caro e le cache di grandi dimensioni saturano la memoria HBM, quella ad altissima banda saldata accanto al processore delle GPU e una delle risorse più costose di un datacenter, insieme allo storage e alla banda di trasferimento. Il pavimento del costo di servizio lo fissano quelle voci, mentre il conteggio dei parametri resta un dato da comunicato stampa.

Il modello processa immagini e testo nativamente, con un encoder visivo addestrato da zero e un corpus di pre-training da 45mila miliardi di token, e supporta un livello di ragionamento regolabile con continuità da 1 a 100, dove il numero governa quanto a lungo il modello elabora prima di rispondere. Quel cursore è una primitiva commerciale prima che tecnica, perché permette di comprare accuratezza a scaglioni, decidendo caso per caso quanto costo di inferenza vale la pena spendere su un compito.

Listini Flash al posto del V4-Pro

I prezzi ufficiali del nuovo modello, in vigore dalle 04:00 UTC del 10 settembre, sono 0,15 dollari per milione di token in input e 0,60 in output nelle ore di morbida, il doppio nelle ore di punta. L’input già presente in cache, vale a dire il testo che il modello ha elaborato in precedenza nella stessa sessione e non deve rileggere da capo, costa 0,003 dollari. Il V4-Pro che esce di scena stava a 0,66 e 1,98 dollari in morbida, con cache hit a 0,022: il passaggio vale un taglio del 77% sull’input, del 70% sull’output e dell’86% sulla lettura da cache. Il limite di concorrenza, cioè il numero di richieste che un cliente può tenere aperte nello stesso istante, sale da 500 a 2.500.

Le fasce di punta cadono fra le 01:00 e le 04:00 e fra le 06:00 e le 10:00 UTC nei giorni feriali, che sull’orologio italiano corrispondono alla notte fonda e all’intera mattinata lavorativa, dalle otto a mezzogiorno. Chi lavora dall’Italia paga la tariffa piena esattamente quando l’ufficio è pieno, e quella ridotta dal primo pomeriggio in avanti: una pianificazione dei batch notturni, qui, vale quanto una rinegoziazione contrattuale.

Ad agosto era successo l’opposto. Il 13 agosto DeepSeek aveva rilasciato la versione ufficiale di V4-Pro e, tre giorni dopo, aveva abbandonato il listino piatto per passare alle fasce orarie, portando l’output del proprio modello di punta da 0,87 dollari a 1,98 in morbida e 3,96 in punta. Un rincaro fra il doppio e il quadruplo, letto allora come il segnale di un’azienda arrivata al limite della capacità di calcolo disponibile. Tre settimane e mezzo dopo il prezzo torna giù, con un’architettura diversa sotto.

Un conto veloce sui listini ufficiali chiarisce dove finiscono quei risparmi. In un agente che lavora per molti passi consecutivi il modello si rilegge ogni volta tutto il materiale accumulato fino a quel momento, e quella rilettura gonfia il conto più di qualunque risposta generata. Un agente che ripassa un prefisso da 200mila token per cinquanta passi muove dieci milioni di token di input già visto in una sola sessione: 0,22 dollari con il vecchio V4-Pro in fascia ridotta, 0,03 con V4.1-Flash. Su una flotta di agenti che gira in continuo, quella differenza diventa l’intera voce di bilancio.

DeepSeek comprime la cache dal 2024

Il percorso di rilascio dell’azienda, riletto oggi, ha una coerenza quasi ostinata. Con V2 era arrivata la Multi-head Latent Attention, che comprimeva chiavi e valori dell’attenzione in uno spazio latente, ossia li riscriveva in una forma più corta prima di depositarli in memoria. Con V3.2-Exp era arrivata la DeepSeek Sparse…