Calculadora de VRAM para LLM: memoria de los pesos en fp16, int8 e int4
Calcula cuánta VRAM necesitan los pesos de un modelo según su número de parámetros y la precisión (fp32, fp16, int8 o int4), más la memoria extra de ejecución.
Cómo funciona
Pesos (GB) = parámetros (miles de millones) × bytes por parámetro · Total = pesos × (1 + % de memoria extra)
La memoria de los pesos sigue una regla muy limpia: parámetros en miles de millones por bytes por parámetro da directamente gigabytes. Un modelo 7B ocupa 14 GB en fp16, 7 GB en int8 y 3.5 GB en int4. La cuantización es lo que permite correr modelos grandes en GPU más modestas, a cambio de un poco de precisión. Además de los pesos, en inferencia necesitas espacio para la caché KV y las activaciones, que crece con la longitud del contexto y la concurrencia; elige una precisión que te deje margen cómodo y no una que apenas quepa.
Ejemplo resuelto
Andrés quiere correr localmente un modelo de 7B parámetros en fp16 (2 bytes): los pesos ocupan 7 × 2 = 14 GB. Con un 20% extra de ejecución llega a unos 16.8 GB, así que cabe con holgura en una GPU de 24 GB. En una tarjeta de 16 GB tendría que usar int8, donde los pesos ocupan 7 GB (8.4 GB con el mismo 20% extra).
Preguntas frecuentes
¿Por qué parámetros × bytes da gigabytes directamente?
Porque mil millones de parámetros por los bytes de cada uno, dividido entre mil millones de bytes por GB, se cancela. Así, 7 mil millones de parámetros × 2 bytes = 14 GB sin más cuentas.
¿Siempre conviene usar int4?
Int4 reduce la memoria a la mitad frente a int8 y en modelos grandes suele conservar casi toda la calidad, pero los modelos pequeños o las tareas sensibles pueden empeorar bastante. Pruébalo con tu tarea y úsalo cuando la memoria sea el límite y aceptes una pequeña pérdida.
¿Por qué hay que sumar memoria extra de ejecución?
Servir un modelo también requiere memoria para la caché KV, que crece con el contexto y el tamaño del batch, y para las activaciones. Un 20% es una referencia para contextos cortos; con contextos largos o mucha concurrencia puedes necesitar bastante más.
¿Cuánta VRAM necesito para un modelo de 13B?
En fp16 los pesos ocupan 13 × 2 = 26 GB, unos 31.2 GB con 20% extra. En int4 bajan a 6.5 GB, unos 7.8 GB con el mismo margen.
Calculadoras relacionadas
Estimación con fines educativos: la memoria real depende del framework, la arquitectura del modelo y la configuración de inferencia. Compárala con mediciones propias antes de comprar hardware.