Nota 3 de 12 - Entrevista sobre conocimientos de LLM de Hao Hoang

¿Qué es la ventana de contexto en los LLM y por qué importa?

La ventana de contexto es la cantidad de tokens que un LLM puede procesar de una sola vez. En la práctica, define su “memoria” inmediata para entender o generar texto. Cuanto mayor es esa ventana, más contexto puede tener en cuenta el modelo, lo que mejora la coherencia en tareas como el resumen. El problema es que ampliar esa capacidad también eleva el coste computacional. Por eso, en el despliegue real de un LLM, hay que equilibrar tamaño de contexto y eficiencia. 

¿IA con criterio? Suscríbete aquí 👇