Meta ha publicado Muse Spark Open, un modelo de pesos abiertos con unos 816.000 millones de parámetros (≈42.000 millones activos por token) y hasta 1 millón de tokens de contexto. Hugging Face lo presentó el 15 de octubre de 2026 y lo describe como el modelo de pesos abiertos más capaz de EE. UU. hasta la fecha. Está entrenado para programación con agentes y acepta texto, imágenes, audio y vídeo, aunque solo genera texto.
Qué cambia
Es un mixture-of-experts: 62 capas, 256 expertos por capa y 8 activados por token. Los expertos concentran cerca del 97 % de los parámetros. Como todos los expertos tienen que estar en memoria, el modelo exige la memoria de uno de 816B, pero calcula cada token con el coste de uno de ~42B.
Hay dos checkpoints: BF16 (unos 1,5 TB en safetensors) y NVFP4, en 4 bits y pensado para GPUs NVIDIA Blackwell, que según Hugging Face pierde una precisión despreciable. En transformers, el BF16 corre en 4 nodos de 8 H200 con paralelismo tensorial (TP=32) y el NVFP4 cabe en un único nodo B200.
El contexto es de 1.048.576 tokens e incluye imagen, audio y vídeo. Con atención de consultas agrupadas (16 cabezas KV), la caché cuesta unos 250 KB por token: cerca de 266 GB para un contexto completo en BF16. Ese número importa más que los parámetros cuando se planifica capacidad.
Un detalle operativo: el razonamiento no se puede desactivar. Hay cuatro niveles (low, medium, high, xhigh, por defecto xhigh), y si quieres gastar menos tokens en tareas sencillas, la recomendación es dejarlo en low.
Por qué importa en producción
Hasta ahora, un modelo de este nivel para agentes de código significaba depender de una API. Aquí puedes alojarlo tú, con lo que eso supone para residencia de datos, latencia y coste predecible. El precio es la infraestructura: Hugging Face documenta una configuración validada en Inference Endpoints con el NVFP4 sobre 8 × RTX Pro 6000 (contexto de 131.072 tokens) o sobre 8 × H200 si quieres el millón completo.
El soporte llega desde el primer día en llama.cpp, vLLM, SGLang, MLX y transformers, y el servidor expone una API compatible con OpenAI. Eso reduce el riesgo de integración: tu cliente actual probablemente funcione cambiando la URL base. Ojo con las diferencias: el razonamiento llega separado en reasoning_content, y habrá que decidir cómo se registra o descarta en tus trazas.
También se puede afinar. El post muestra un ajuste con TRL SFTTrainer sobre el checkpoint completo, en 8 nodos de 8 H100, con adaptadores LoRA en las capas de atención y los expertos congelados.