Un estudio reciente de investigadores de Penn State ha revelado que los sistemas de inteligencia artificial pierden un promedio del 83 por ciento de las instrucciones de los usuarios durante el proceso de compresión de contexto. Este fenómeno se produce cuando los modelos de IA buscan liberar espacio al resumir el historial de conversación, lo que a menudo resulta en la pérdida de detalles críticos.
Las restricciones impuestas por los usuarios, conocidas como "session constraints", son las más afectadas. Estas reglas son temporales y solo aplicables a la sesión actual, lo que las hace vulnerables durante la compresión. Un ejemplo de ello sería un usuario que solicita confirmación antes de realizar cambios, pero que, tras el proceso de compresión, se encuentra con que el agente actúa sin consultar.
El nuevo conjunto de evaluación denominado COMPINT ha sido introducido para medir esta pérdida. Los resultados muestran que solo el 17 por ciento de las restricciones de sesión sobreviven a la compresión, y en muchos casos, los sistemas de compresión funcionan peor que si no se utilizaran en absoluto. Sin embargo, el modelo GPT-5.4-mini ha demostrado un mejor desempeño en algunas situaciones.