DeepSeek ha publicado el motor con el que sirve sus modelos en producción. DeepInfer, con licencia Apache 2.0, llegó a Hacker News el 20 de octubre de 2026 y en pocas horas reunió 565 puntos y 201 comentarios en Hacker News. No es un vLLM nuevo para cualquiera: hoy solo ejecuta un modelo, en dos tipos de hardware y en modo offline. Pero enseña por dentro cómo un laboratorio chino sirve a escala un MoE de pesos abiertos.
Qué se ha publicado
DeepInfer es, según su README, el framework de inferencia de alto rendimiento que mueve los servicios de producción de DeepSeek. Esta primera entrega cubre la inferencia offline con lo esencial para servir a escala:
| Aspecto | Lo que soporta |
|---|---|
| Modelos | DeepSeek-V4.1-Flash (checkpoint DeepSeek-V4.1-Flash-1017) |
| Hardware | GPU NVIDIA SM100 y NPU Huawei Ascend 950 |
| Paralelismo | Attention DP, context parallel equilibrado, expert parallel con EPLB |
| Decodificación | DSpark: tokens borrador con verificación planificada según la confianza |
| Reproducibilidad | Inferencia invariante al batch y muestreo determinista (solo NVIDIA) |
| Salida estructurada | Regex, JSON Schema o gramática EBNF |
| Requisitos | Linux, GCC 13+, Python 3.12, CUDA 13 o CANN 9.2 |
Los kernels son los que DeepSeek ya había ido liberando por separado (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect) más kernels propios en TileLang. Las pruebas de rendimiento del repo se hicieron con 4 GPU para prefill y 64 para decode, cada grupo dentro de un mismo dominio de interconexión.
Lo que no viene
El propio README lo deja claro: para montar un servicio completo faltan tres piezas. No hay sistema de caché KV, no está la separación entre las fases de prefill y decode como servicios distintos (aunque la mayor parte del motor ya la implementa) y no hay balanceo entre réplicas data-parallel. Es decir, publican el motor, pero no la plataforma que lo rodea, que es precisamente donde está buena parte del trabajo de operar un servicio de inferencia.
Cómo se compara con vLLM
DeepInfer nació, según sus autores, "construido principalmente sobre vLLM", con inspiración de SGLang y TensorRT-LLM. La comparación es inevitable, y deja claro qué tipo de proyecto es cada uno:
| DeepInfer | vLLM | |
|---|---|---|
| Modelos | 1 (DeepSeek-V4.1-Flash) | Más de 200 arquitecturas de Hugging Face |
| Hardware | NVIDIA SM100, Ascend 950 | GPU NVIDIA, AMD e Intel, CPU y plugins para TPU, Ascend, Gaudi y más |
| API | Batch offline | Servidor compatible con OpenAI, Anthropic Messages y gRPC |
| Licencia | Apache 2.0 | Apache 2.0 |
| Enfoque | Exprimir un modelo concreto en hardware concreto | Motor generalista |
vLLM es la herramienta para servir modelos; DeepInfer es la referencia de cuánto se puede apretar un único modelo cuando controlas todo el stack. Lo más probable es que sus ideas acaben en los motores generalistas antes que en clústeres de terceros.
Qué significa
Lo más relevante no es el código en sí, sino el soporte de primera clase para Huawei Ascend 950 al mismo nivel que NVIDIA. DeepSeek publica un motor de producción que funciona en hardware de Huawei en la misma semana en la que su tecnología queda vetada en las agencias civiles federales de EE. UU. Para quien compra capacidad de inferencia, es una señal de que el ecosistema fuera de CUDA ya tiene un caso real de servicio a escala.
Para quien opera modelos abiertos, hay dos ideas que merece la pena seguir. La primera, la inferencia invariante al batch: que el resultado no cambie según con qué otras peticiones compartas lote es lo que permite reproducir un fallo o evaluar un modelo sin ruido, y DeepInfer lo ofrece con una variable de entorno. La segunda, DSpark: decodificación especulativa en la que la verificación de los borradores se planifica según la confianza del modelo, en lugar de verificar siempre la misma longitud.
Quien sirva DeepSeek-V4.1-Flash en producción tiene ahora una referencia directa de cómo lo hace su autor. Para todos los demás, vLLM sigue siendo el camino.
Fuentes
- deepseek-ai/DeepInfer — README, hardware, funciones y licencia.
- DeepSeek just open-sourced its inference engine — Hacker News, 20 de octubre de 2026.
- vllm-project/vllm — modelos, hardware y API soportados.
- US bans DeepSeek technology across federal civilian agencies — The Decoder, 20 de octubre de 2026.