Un experimento realizado en la Universidad Bocconi, que involucró a 1,053 estudiantes de primer año, reveló que el uso de GPT-4o mejoró significativamente las calificaciones en una tarea de negocios. Los alumnos que utilizaron esta herramienta lograron casi un punto más en una escala de 1 a 5, y sus respuestas presentaron un promedio de dos ideas adicionales, además de ser más coherentes lógicamente.
Los estudiantes debían redactar recomendaciones de marketing para la tienda de productos de la universidad en un máximo de 180 palabras. Aunque una lección breve sobre razonamiento causal no aumentó las calificaciones tradicionales, fomentó soluciones más diversas y un pensamiento más profundo sobre las causas y supuestos de sus propuestas. Sin embargo, el rendimiento mejorado no se tradujo en un aprendizaje más eficaz, ya que no se realizó una prueba posterior sin el uso de ChatGPT.
Los investigadores notaron que, a pesar de que la lección de razonamiento causal no mejoró las puntuaciones tradicionales, motivó a los estudiantes a explicar mejor las condiciones bajo las cuales sus propuestas podrían funcionar o fallar. Al combinar la lección con GPT-4o, no se observó un incremento adicional en las calificaciones tradicionales, pero se destacó que los estudiantes generaron ideas más diversas que se alejaron de lo que sus compañeros habían escrito.