Kimi K3 da 2,8 trilioni di parametri gira in locale su Apple Silicon: streaming dei pesi, MLX e REAP pruning

🚀 Ultimi giorni di fuoco per l’AI locale e i modelli open-weight

Kimi K3 di Moonshot AI: i numeri del modello

Il protagonista è Kimi K3 di Moonshot AI:

• 2,8 trilioni di parametri totali
• architettura Mixture of Experts (MoE)
• 104 miliardi di parametri attivi per token
• pesi aperti da circa 1,6 TB
• context window da un milione di token

Dopo la pubblicazione dei pesi completi, il 27 luglio, la community ha iniziato a testarlo su hardware locale, soprattutto Apple Silicon.

Le specifiche vengono dal tech blog di Moonshot AI (17 luglio 2026) e dalla model card ufficiale su Hugging Face: 2,8T parametri totali, 104B attivi per token, 16 expert attivi su 896, contesto da un milione di token.

Gli esperimenti di Salvatore Sanfilippo su Apple Silicon

Salvatore Sanfilippo (famosissimo sviluppatore italiano) sta sperimentando lo streaming dei pesi da Hugging Face su un MacBook Pro M5 Max con 128 GB di memoria unificata.

Il modello non entra interamente in memoria: i pesi vengono letti progressivamente dallo storage durante l’esecuzione. È molto lento, ma dimostra che si può iniziare a esplorare un modello da 1,6 TB anche su una singola macchina! 🤯

Sanfilippo sta anche lavorando a un’esecuzione distribuita su due Mac Studio da 512 GB.

L’esperimento di streaming è documentato da Sanfilippo in un post su X di fine luglio 2026; le strategie di inferenza distribuita su due Mac Studio da 512 GB sono descritte sul suo blog (maggio 2026).

MLX, quantizzazione e conversione in streaming

La community sta inoltre cercando di adattare Kimi K3 ad Apple Silicon e ridurne i requisiti di memoria attraverso MLX, quantizzazione e pruning.

MLX è il framework di Apple progettato per sfruttare la memoria unificata dei suoi chip, permettendo a CPU e GPU di lavorare sugli stessi dati senza copiarli tra memorie separate.

Non riduce le dimensioni del modello, ma consente di eseguirne più efficacemente le versioni convertite, quantizzate o sottoposte a pruning.

La conversione in streaming elabora una parte dei pesi alla volta, la salva nel formato MLX e libera la memoria, senza dover caricare l’intero modello durante il processo.

Il REAP pruning: da 1,6 TB a circa 350 GB

Il REAP pruning, invece, riduce davvero il modello.

Kimi K3 contiene centinaia di blocchi specializzati, chiamati expert, ma per ogni token ne attiva soltanto alcuni. Il pruning rimuove quelli considerati meno importanti.

Una configurazione sperimentale mantiene 179 expert su 896, riducendo il modello a circa 350 GB e permettendogli di entrare nella memoria di un Mac Studio da 512 GB.

Il compromesso è rilevante: non è più il modello completo e la generazione dei token resta lenta.

Il porting MLX con convertitore in streaming e REAP pruning è di Pipe Network; la configurazione da 179 expert su 896 (~350 GB) è pubblicata su Hugging Face (luglio 2026).

La parte più interessante: la velocità della community

Ed è questa la parte più interessante.

Non solo l’arrivo di un enorme modello open-weight, ma la velocità con cui la community sta costruendo conversioni, quantizzazioni, sistemi distribuiti e tecniche di pruning per portare questi modelli su hardware locale.

I limiti: hardware prosumer e compromessi su qualità e velocità

Attenzione però: Apple Silicon e MLX stanno riducendo il divario con i modelli proprietari, ma non basta un normale PC consumer.

Alcune versioni quantizzate o pruned possono girare su workstation prosumer da decine di migliaia di euro, senza richiedere un cluster enterprise.

Restano compromessi importanti: quantizzazione e pruning possono ridurre la qualità, mentre far entrare i pesi in memoria non significa ottenere un’inferenza veloce.

L’AI locale non ha ancora raggiunto la parità con i migliori servizi cloud. Il mio consiglio, per chi usa AI per sviluppare prodotti software, è di utilizzare Kimi Code con API K3 e non utilizzare LLM locali.