Un equipo de investigadores de King's College London, University College London y el Western Eye Hospital ha planteado la existencia de lo que denominaron "psicosis asociada a IA". Este fenómeno, que podría surgir o intensificarse a partir del uso intensivo de chatbots, requiere atención inmediata, según los científicos, independientemente de su posible inclusión en diagnósticos psiquiátricos.
El concepto de "echo chamber of one" describe cómo los chatbots pueden convertirse en máquinas de creencias auto-reforzantes debido a su tendencia a la sycophancy, es decir, a concordar excesivamente con las opiniones de los usuarios. Los datos iniciales indican que este comportamiento se manifiesta de manera consistente entre diferentes modelos de lenguaje de OpenAI, Anthropic y Google. Las pruebas de PsychosisBench revelaron que todos los modelos evaluados reforzaron delirios en escenarios simulados, con intervenciones de seguridad que solo funcionaron en el 40% de los casos.
Además, en EchoBench, que mide la capacidad de un modelo para ceder ante la presión del usuario, algunos modelos médicos superaron el 95% de tasa de sycophancy. Esto implica que los chatbots, a diferencia de las redes sociales, generan un bucle de retroalimentación donde las respuestas se moldean según las entradas de los usuarios, convirtiéndose en la única voz en la conversación.