Mostra sommario Nascondi sommario
- Le sigle che spiegano la scala: cosa sono 70B, 405B e 1T
- Visualizzare i miliardi: la biblioteca immaginaria di Diderot
- Dense vs MoE: perché lo stesso numero di parametri può comportarsi diversamente
- Quantizzazione Q4: come ridurre GB preservando performance
- Tok/s: che cosa misurano davvero i tokens al secondo
- Prefill e generazione: due fasi diverse nell’elaborazione
- 1,2 TB/s di banda memoria: perché conta per l’inferenza
- Disponibilità e limiti: 256 GB ora, 512 GB in arrivo
- Distribuire il modello: RDMA e Thunderbolt 5 in azione
- Perché più macchine non equivalgono a una singola memoria più grande
- Scalare con più Mac: vantaggi reali e limiti pratici
- Implicazioni pratiche per l’uso quotidiano dell’AI locale
- Il Mac Studio come mattone per un cluster AI da scrivania
Apple ha portato il Mac Studio M5 Ultra al centro del dibattito sull’AI locale. Con memoria unificata fino a 512 GB e collegamenti Thunderbolt 5 abilitati a RDMA, la macchina trasforma il modo in cui possiamo caricare e far girare grandi modelli linguistici sul desktop.
Le sigle che spiegano la scala: cosa sono 70B, 405B e 1T
AI negli USA: boom cambia il volto delle prossime elezioni
Star Wars gioco di carte: 3 edizioni italiane imperdibili su Amazon
La lettera B indica “billion” (miliardo). Un modello 70B contiene quindi circa 70 miliardi di parametri. La T sta per “trillion” nella numerazione anglosassone: 1T = 1.000 miliardi.
Un parametro è un numero che il training regola. Non è una parola né un fatto. È l’insieme di miliardi di parametri che permette al modello di riconoscere schemi e relazioni.
Visualizzare i miliardi: la biblioteca immaginaria di Diderot
Per rendere tangibili cifre come 70B o 1T possiamo usare una metafora: ogni parametro corrisponde a una parola e un’unità di riferimento è l’Encyclopédie di Diderot, digitalizzata con ~21,7 milioni di parole.
- 70B: ~3.200 copie dell’Enciclopédie → circa 90.000 volumi in-folio.
- 123B: ~5.700 copie → ~159.000 volumi.
- 235B: ~10.800 copie → ~303.000 volumi.
- 405B: ~18.700 copie → oltre 520.000 volumi.
- 671B: ~30.900 copie → ~866.000 volumi.
- 1T: ~46.000 copie → quasi 1,3 milioni di volumi.
Questo paragone è illustrativo: un parametro non è una parola. Però aiuta a capire quanto spazio serva per conservare quei numeri in memoria.
Dense vs MoE: perché lo stesso numero di parametri può comportarsi diversamente
Non tutti i modelli usano i parametri nello stesso modo. Esistono architetture dense e architetture MoE (Mixture of Experts).
I modelli dense attivano praticamente tutti i parametri durante l’inferenza. I MoE invece hanno molti “esperti”: solo una parte viene attivata per ogni token.
Esempi pratici di comportamento
- Llama 3.1 70B — dense: relativamente “compatto” e facile da caricare su workstation potenti.
- Mistral Large 2 (123B) — dense: pensato anche per inferenza su singolo nodo.
- Qwen3-235B-A22B — MoE: 235B totali, ~22B attivati per token.
- Llama 3.1 405B — dense: l’intera rete è usata in inferenza.
- DeepSeek-V3 (671B) — MoE: circa 37B attivati per token.
- Kimi K2 (1T) — MoE: 1.000B totali, ~32B attivati per token.
La scelta dell’architettura influisce su computazione e memoria. MoE riduce il calcolo per token ma non elimina l’esigenza di avere gli expert disponibili in memoria.
Quantizzazione Q4: come ridurre GB preservando performance
Per eseguire LLM in locale si usa spesso la quantizzazione. Q4 o 4-bit significa che i pesi usano pochi bit, riducendo lo spazio su disco e RAM.
- Calcolo teorico: 70B a 4-bit ≈ 35 GB; 405B ≈ 203 GB; 1T ≈ 500 GB.
- Dimensioni reali MLX: Llama 70B ≈ 39,7 GB; Qwen3-235B ≈ 132 GB; Llama 405B ≈ 231 GB; DeepSeek-V3 ≈ 378 GB; Kimi K2 ≈ 578 GB.
Questi file includono scale, metadati e componenti non sempre quantizzati. E serve memoria anche per macOS, runtime, cache e contesto.
Per questo i 256 o 512 GB di memoria unificata del Mac Studio diventano una variabile pratica fondamentale.
Tok/s: che cosa misurano davvero i tokens al secondo
tok/s indica quanti token il modello genera in un secondo. Un token può essere una parola, un frammento di parola o un segno di punteggiatura.
- 2–3 tok/s → risposte lente, attesa percepibile.
- 5–10 tok/s → chat utilizzabile ma non fulminea.
- 15–20 tok/s → conversazione fluida.
- 25–35 tok/s → genera più velocemente di quanto si legga.
- 50+ tok/s → percezione quasi istantanea per un singolo utente.
In italiano 25–35 tok/s corrispondono grosso modo a 15–25 parole al secondo. I tok/s misurano la generazione, non il prefill.
Prefill e generazione: due fasi diverse nell’elaborazione
Prima di generare una risposta, il modello elabora il prompt e i documenti forniti. Questa fase si chiama prefill o prompt processing.
Solo dopo inizia la generazione autoregressiva, misurata in tok/s. Ridurre il tempo di prefill accelera l’inizio della risposta, specie con PDF lunghi o grandi repository.
Apple indica miglioramenti del prefill in LM Studio sul M5 Ultra rispetto al M3 Ultra. Non significa automaticamente moltiplicare per quattro i tok/s di una generazione.
1,2 TB/s di banda memoria: perché conta per l’inferenza
Durante la generazione, il modello legge continuamente pesi dalla memoria. La banda verso la memoria diventa spesso il collo di bottiglia.
Il Mac Studio M5 Ultra offre fino a 1,2 TB/s di banda della memoria. Una banda più alta aiuta a evitare attese fra calcolo e caricamento dei pesi.
Per alcuni modelli la limitazione sarà la compute, per altri la memoria o la latenza nei trasferimenti dei pesi.
Disponibilità e limiti: 256 GB ora, 512 GB in arrivo
Apple ha annunciato supporto fino a 512 GB, ma in Italia al lancio la configurazione massima acquistabile è 256 GB. La versione da 512 GB arriverà più tardi.
Scenario futuro: singolo M5 Ultra con 512 GB
- 512 GB locali consentono di caricare con comodità Llama 70B, Qwen3-235B e Llama 405B in Q4.
- DeepSeek-V3 (~378 GB Q4) può rimanere su un unico Mac da 512 GB.
- Kimi K2 (~578 GB Q4) resta troppo grande per un singolo 512 GB.
- 2×512 GB distribuiti permettono di ospitare modelli da ~1T; 4×512 GB arrivano a ~2 TB distribuiti.
Scenario reale al lancio: singolo M5 Ultra con 256 GB
- 256 GB bastano agevolmente per Llama 70B e lasciano margine.
- Qwen3-235B (~132 GB) è comodo su 256 GB.
- Llama 405B (~231 GB) è formalmente caricabile, ma rimane un caso limite.
- Per DeepSeek-V3 e Kimi K2 servono più macchine o configurazioni future.
Distribuire il modello: RDMA e Thunderbolt 5 in azione
RDMA (Remote Direct Memory Access) permette trasferimenti a bassa latenza evitando copie inutili e l’intervento massiccio della CPU.
MLX usa il backend JACCL per RDMA su Thunderbolt. Questo riduce significativamente la latenza rispetto a soluzioni TCP-based.
La tecnica è cruciale per il tensor parallelism, quando parti dello stesso calcolo vengono eseguite su nodi diversi.
- RDMA abbassa latenza e copie di buffer.
- Thunderbolt 5 abilita collegamenti ad alta velocità fra Mac Studio.
- Una mesh completa con 4 Mac richiede 6 cavi diretto-tra-nodi.
Perché più macchine non equivalgono a una singola memoria più grande
Due Mac da 256 GB danno 512 GB totali ma non replicano la stessa esperienza di un unico SoC con 512 GB locali. La memoria remota richiede trasferimenti via Thunderbolt.
La banda interna del SoC è 1,2 TB/s. Thunderbolt 5 opera su ordini di grandezza inferiori. RDMA aiuta, ma non annulla la differenza fisica.
Il software deve quindi distribuire il modello per minimizzare gli accessi remoti e mantenere alto il lavoro sui pesi locali.
Scalare con più Mac: vantaggi reali e limiti pratici
Aggiornare un singolo Mac con una seconda o quarta unità è una strada pratica per aumentare memoria e calcolo. Ma la scalabilità non è lineare.
Apple stima che un cluster di quattro Mac Studio possa raggiungere fino a tre volte le prestazioni di inferenza di un singolo sistema, non quattro volte.
- L’aumento di nodi riduce i limiti di memoria e abilita modelli più grandi.
- Sincronizzazione e trasferimenti introducono overhead.
- Per alcuni modelli il beneficio principale è rendere l’esecuzione possibile, non solo più veloce.
Implicazioni pratiche per l’uso quotidiano dell’AI locale
Per molte attività di produttività un 70B è già ottimo: scrittura, riassunti, traduzioni, programmazione e RAG su documenti moderati.
I modelli più grandi servono per:
- gestire context window molto ampie;
- analizzare grandi archivi senza cloud;
- costruire agent di coding su repository estesi;
- servire utenti multipli o carichi simultanei.
L’architettura Apple Silicon con memoria unificata permette alla GPU di accedere agli stessi GB della CPU. Questo riduce le barriere che si incontrano con VRAM separate nelle GPU discrete.
Il Mac Studio come mattone per un cluster AI da scrivania
Il vero cambiamento non è solo avere 512 GB su singola macchina. Thunderbolt 5 + RDMA trasformano più Mac Studio in nodi di un cluster desktop.
Questo apre possibilità insolite: partire con una workstation e aggiungere un secondo o un terzo Mac quando il modello non entra più nella memoria locale.
Con l’arrivo dei 512 GB i gradini di accesso ai diversi modelli si sposteranno in alto: modelli oggi ostici potrebbero diventare eseguibili su meno macchine.
