¿Cuánta VRAM necesito para ejecutar IA en local?

La VRAM es la memoria propia de la tarjeta gráfica, y en IA local es el dato que más manda. Para que un modelo responda rápido, sus pesos y la memoria de la conversación tienen que caber dentro de ella. Si no caben, el programa manda una parte a la RAM del ordenador y la velocidad se desploma. Puedes hacer el cálculo con tu gráfica concreta en la herramienta ¿qué IA puedo ejecutar?.

¿Cómo se calcula la memoria que ocupa un modelo?

La cuenta básica es sencilla: número de parámetros × bits por parámetro ÷ 8. Un modelo de 8.000 millones de parámetros (8B) en 16 bits ocupa unos 16 GB; cuantizado a 4 bits, menos de un tercio. Los formatos GGUF más usados, como Q4_K_M, guardan en realidad algo más de 4 bits de media, así que la regla práctica es de unos 0,6 GB por cada mil millones de parámetros a 4 bits y algo más de 1 GB por cada mil millones a 8 bits. Si estos nombres te suenan a chino, lo explicamos en qué es la cuantización y el formato GGUF.

A eso hay que sumar dos cosas: la memoria del contexto (la caché KV, que veremos abajo) y un pequeño margen para el propio programa y los búferes de cálculo.

¿Cuánta VRAM necesita cada tamaño de modelo?

Estos son los tamaños reales de los archivos GGUF publicados en Hugging Face para modelos habituales. Son la cifra mínima: el contexto va aparte.

El mantenedor de muchas de estas versiones cuantizadas en Hugging Face da un consejo práctico: si quieres que todo vaya en la gráfica, elige un archivo entre 1 y 2 GB más pequeño que tu VRAM. Ese margen es el que se come el contexto en conversaciones normales.

¿Qué más ocupa VRAM además del modelo?

El gran olvidado es el contexto. Mientras el modelo lee y escribe, guarda información de cada token en la llamada caché KV, y esa caché crece en línea recta con la longitud de la conversación o del documento.

Su tamaño depende de la arquitectura: 2 × capas × cabezas KV × dimensión de cada cabeza × bytes por valor, por cada token. En Qwen3-8B (36 capas, 8 cabezas KV de 128 dimensiones, en 16 bits) salen unos 147 KB por token. Parece poco, pero se multiplica:

• 4.096 tokens de contexto: unos 0,6 GB.
• 16.384 tokens: unos 2,4 GB.
• 32.768 tokens: unos 4,8 GB, casi tanto como el propio modelo.

Por eso Ollama ajusta el contexto por defecto según la memoria que detecta: 4K tokens con menos de 24 GiB de VRAM, 32K entre 24 y 48 GiB, y 256K a partir de 48 GiB. Si subes el contexto a mano (Ollama recomienda al menos 64K para agentes, búsqueda web o herramientas de programación), vigila que siga cabiendo.

Dos ajustes ayudan a ahorrar memoria de contexto: la flash attention, que Ollama activa automáticamente donde es compatible, y la cuantización de la caché KV (OLLAMA_KV_CACHE_TYPE=q8_0), que según su documentación reduce esa memoria a la mitad aproximadamente.

¿Qué pasa si el modelo no cabe en la gráfica?

Las herramientas basadas en llama.cpp, como Ollama o LM Studio, no se niegan a cargarlo: ponen en la gráfica las capas que caben y el resto en la RAM, donde las procesa la CPU. Funciona, pero la caída de velocidad es brusca, porque la parte lenta marca el ritmo.

En una prueba publicada por InventiveHQ con un modelo de 14B en Q4_K_M y una RTX 5060 Ti de 16 GB, el modelo entero en la gráfica generaba 43 tokens por segundo; con solo 8 de sus 48 capas en la CPU bajaba a 12,5, y todo en la CPU se quedaba en 2,9.

Si te quedas corto, tienes tres salidas, por este orden:

1. Reducir el contexto si no necesitas conversaciones o documentos largos.
2. Bajar un escalón de cuantización (por ejemplo, de Q5 a Q4_K_M, o a Q3_K_M), aceptando algo de pérdida de calidad.
3. Elegir un modelo más pequeño.

¿Y los modelos MoE, los Mac y los equipos con memoria unificada?

Modelos MoE (mezcla de expertos). En cada paso solo trabaja una parte de los parámetros, lo que los hace rápidos, pero hay que cargarlos enteros. Ocupan según su tamaño total, no según los parámetros activos. Por ejemplo, gpt-oss-20b tiene 21.000 millones de parámetros, de los que usa 3.600 millones en cada paso, y OpenAI indica que funciona con 16 GB de memoria. Qwen3-30B, también MoE, ocupa 19 GB en la biblioteca de Ollama.

Mac con Apple Silicon. La memoria es compartida entre CPU y gráfica, así que un Mac con 64 o 128 GB puede cargar modelos que no caben en ninguna gráfica doméstica. Pero macOS reserva una parte para el sistema: por defecto, la gráfica puede usar en torno al 75 % de la memoria total. En un Mac de 64 GB eso deja unos 48 GB, suficientes para un 70B en Q4_K_M con poco contexto.

Equipos con memoria unificada grande. Los miniPC con mucha memoria compartida y equipos como el NVIDIA DGX Spark siguen la misma lógica que un Mac: mucha capacidad, aunque normalmente con menos ancho de banda que una gráfica dedicada de gama alta, lo que se nota en la velocidad.

¿Qué gráfica elegir según lo que quieras ejecutar?

Si estás pensando en comprar, en qué gráfica comprar para IA local comparamos opciones por precio y compatibilidad.

¿Cuál elegimos? Nuestra recomendación

Para la mayoría, 16 GB de VRAM es hoy el punto dulce: caben con holgura los modelos de 14B y algunos MoE de unos 20B, con contexto de sobra para conversaciones y documentos. Con 12 GB se puede trabajar bien con modelos de 8B y, más justo, de 14B. 8 GB sirve para empezar, pero limita mucho. Y si tu objetivo son los modelos de 32B, apunta a 24 GB o más. Sea cual sea tu gráfica, la regla de oro es la misma: elige un archivo 1–2 GB más pequeño que tu VRAM y comprueba con ollama ps que todo va en la GPU.

La experiencia más repetida entre los usuarios del foro de Privacy Guides coincide con esto: el modelo tiene que caber entero en la VRAM o se vuelve muy lento, 8 GB se quedan cortos, 12 GB permiten modelos de 8B a 14B y a partir de 16 GB hay margen. Y en los foros de desarrolladores de Apple, varios usuarios confirman el límite de alrededor del 75 % de la memoria unificada para la gráfica en los Mac.