Calculadora de latencia de un LLM: tiempo al primer token y tiempo de generación
Divide el tiempo de respuesta de un LLM en tiempo al primer token (TTFT) más generación, y compruébalo contra el presupuesto de latencia que puedes aceptar.
Cómo funciona
Tiempo de generación = tokens de salida ÷ tokens por segundo · Total = tiempo al primer token + tiempo de generación
La latencia que percibe un usuario de un LLM tiene dos partes: el tiempo al primer token (TTFT), que depende sobre todo del largo del prompt y de las colas del servidor, y la generación en streaming que viene después a un ritmo constante de tokens por segundo. Como la generación crece en línea recta con la longitud de la respuesta, muchas veces la forma más barata de cumplir un presupuesto ajustado es limitar o acortar la salida en vez de buscar un modelo más rápido. El TTFT pesa más en respuestas cortas y en la sensación de rapidez; en respuestas largas manda la velocidad de generación.
Ejemplo resuelto
Un chatbot de atención al cliente genera respuestas de 300 tokens a 60 tokens/s: son 300 ÷ 60 = 5 segundos de generación (5,000 ms). Si el primer token tarda 400 ms, el total es 5,400 ms, así que un presupuesto de 3,000 ms se rebasa por 2,400 ms. Con respuestas de 150 tokens, el total baja a 2,900 ms y queda dentro, con 100 ms de margen.
Preguntas frecuentes
¿De qué depende el tiempo al primer token?
Principalmente del largo del prompt, porque el modelo tiene que leerlo completo antes de responder, además de las colas del servidor y los viajes de red. Los system prompts largos y los contextos recuperados grandes lo suben; el prompt caching puede bajarlo.
¿Cómo reduzco la latencia total de un LLM?
Acorta la salida (el tiempo crece con cada token), elige un modelo más rápido o más pequeño, limita el máximo de tokens y cachea o reduce el prompt para bajar el TTFT. Mostrar la respuesta en streaming mejora la rapidez percibida aunque el tiempo total no cambie.
¿El cálculo es por solicitud o con concurrencia?
Es para una sola solicitud. Con muchas solicitudes a la vez, las GPU compartidas las agrupan y la velocidad por solicitud puede bajar, así que mide los tokens por segundo con tu carga real y no en el mejor caso.
Calculadoras relacionadas
Estimación con fines educativos: la latencia real depende de tu proveedor, el modelo, la carga y la red, que cambian seguido. Compárala con mediciones propias antes de fijar un SLA.