Una ventana de contexto es la cantidad máxima de texto que un modelo de lenguaje puede tener en cuenta a la vez, medida en tokens. Incluye todo lo que el modelo lee en una solicitud (instrucciones, la conversación, cualquier documento) más el texto que escribe como respuesta. Mientras el modelo produce esa respuesta, todo lo que queda fuera de la ventana no existe para él.
Un modelo de lenguaje grande no tiene memoria entre solicitudes en el sentido habitual. Cada vez que responde, el software que lo rodea reúne un bloque de texto y se lo entrega. La ventana de contexto es el límite de tamaño de ese bloque.
¿Cómo funciona una ventana de contexto?
Los modelos de lenguaje no leen caracteres ni palabras directamente. Leen tokens, que son pequeños fragmentos de texto, a menudo partes de palabras. Una ventana de contexto se expresa como un número de tokens, y tanto la entrada como la salida cuentan para ese límite.
Cuando el modelo genera una respuesta, predice un token cada vez. Para elegir cada token nuevo, revisa todos los tokens que hay en ese momento en la ventana mediante un mecanismo llamado atención, que pondera lo relevante que es cada token anterior para el siguiente. El coste de esta comparación crece a medida que la ventana se llena, así que las entradas más largas requieren más tiempo y más potencia de cálculo.
El límite se fija cuando el modelo se construye y se entrena. Los primeros modelos podían contener unas pocas páginas de texto. Muchos modelos actuales aceptan entradas de la extensión de un libro largo, aunque el límite exacto varía entre modelos y entre las versiones que se ofrecen en una aplicación de chat y a través de una API para desarrolladores.
¿Qué ocupa espacio en la ventana de contexto?
En un producto de chat o de búsqueda con IA, la pregunta del usuario suele ser una parte pequeña de lo que lee el modelo. Una solicitud típica contiene varias capas.
- Instrucciones del sistema. Texto oculto del producto que indica al modelo cómo comportarse, qué formato usar y qué herramientas puede llamar.
- Historial de la conversación. Preguntas y respuestas anteriores del mismo chat, para que una pregunta de seguimiento como "¿y la más barata?" tenga sentido.
- Documentos recuperados. Pasajes obtenidos de un índice de búsqueda o de los archivos de una empresa en el momento de la pregunta.
- Resultados de herramientas. La salida de una calculadora, de la ejecución de código o de una consulta web.
- La respuesta. Cada token que escribe el modelo ocupa espacio en la misma ventana.
Para los sitios web, la capa que cuenta es la de los documentos recuperados. En la generación aumentada por recuperación, el sistema encuentra texto relevante y lo coloca en la ventana de contexto para que el modelo pueda escribir a partir de fuentes actuales en lugar de basarse solo en sus datos de entrenamiento.
¿Qué pasa cuando la ventana de contexto está llena?
El modelo no puede leer más allá de su límite, así que el software tiene que decidir qué dejar fuera. Los productos lo resuelven de distintas maneras.
- Truncamiento. Se cortan los mensajes más antiguos o el final de un documento largo.
- Resumen. Las partes anteriores de una conversación se condensan en un resumen breve que ocupa menos tokens.
- Selección. El sistema divide los documentos en pasajes e inserta solo los que obtienen mayor puntuación frente a la pregunta, y deja fuera el resto.
Por eso un chat largo puede parecer que olvida algo dicho al principio: es posible que los primeros mensajes se hayan descartado o comprimido. También por eso la búsqueda con IA rara vez pasa páginas web completas al modelo. Ordenar los pasajes y quedarse con unos pocos deja espacio para las instrucciones, la conversación y la respuesta.
¿Una ventana de contexto más grande significa mejores respuestas?
Una ventana más grande permite al modelo leer más material a la vez, como un contrato completo o una base de código extensa. Otra cuestión es si el modelo lo aprovecha todo bien. Los modelos tienden a prestar más atención al texto cercano al principio y al final de la entrada, y los detalles enterrados en medio de una entrada muy larga tienen más probabilidades de pasarse por alto o malinterpretarse.
Más texto también añade ruido. Si la ventana contiene muchos pasajes poco relacionados, el modelo tiene más oportunidades de tomar un dato erróneo o confundir dos fuentes. Los productos que funcionan a gran escala pagan por cada token procesado, así que tienen motivos para enviar menos pasajes y mejores en lugar de llenar la ventana. Por eso los sistemas de búsqueda con IA mantienen un paso de selección incluso cuando el modelo podría, técnicamente, leer mucho más.
¿Por qué importa la ventana de contexto para un sitio web?
Cuando una herramienta de búsqueda con IA responde a una pregunta, una página compite por un número limitado de espacios en la ventana de contexto. El sistema suele recuperar muchas páginas candidatas, dividirlas en pasajes y quedarse solo con unos pocos. Cómo elige la búsqueda con IA qué fuentes citar explica ese paso de clasificación. Solo el texto que llega a la ventana puede influir en la respuesta o conseguir una cita.
Como el sistema trabaja con pasajes, la unidad útil de una página es una sección que tenga sentido por sí sola. Si un pasaje expone un dato en su primera frase, nombra el producto o la marca de la que trata y no depende de párrafos anteriores para entenderse, el modelo puede usarlo directamente. Un dato que solo queda claro tras leer tres secciones contiguas puede quedar recortado antes de que el modelo lo vea.
La posición dentro de la página importa por la misma razón. Las introducciones largas, el texto de navegación repetido y el contenido genérico ocupan tokens si se extraen junto con el contenido, y la respuesta a la pregunta puede acabar en un pasaje que nunca se selecciona. Poner la respuesta directa al principio de cada sección aumenta la probabilidad de que el pasaje seleccionado la contenga.
La ventana de contexto también explica por qué las respuestas de IA varían de una ejecución a otra. Pequeñas diferencias en qué pasajes se recuperan y se conservan cambian lo que lee el modelo, y un conjunto distinto de entradas produce una respuesta distinta con citas distintas. Para medir la visibilidad en IA de forma fiable, ejecuta los mismos prompts repetidas veces y registra con qué frecuencia una página o una marca aparece en las respuestas.
