Richard Sutton, galardonado con el Premio Turing y pionero en el aprendizaje por refuerzo, ha expresado su preocupación sobre el uso de datos sintéticos en la inteligencia artificial. Sutton, cofundador de Oak Lab junto a Khurram Javeed, argumenta que este enfoque no resolverá los problemas de escalamiento de los modelos de lenguaje grandes, destacando la complejidad infinita del mundo real.
En una reciente conversación, Sutton señaló que, aunque los modelos de lenguaje han tenido éxito al escalar con computación, se enfrentan a limitaciones significativas. La dependencia excesiva del conocimiento humano puede frenar su desarrollo, afirmando que "no, eso es un gran error" cuando se refiere al potencial de los datos sintéticos para superar estos obstáculos.
El enfoque de Javeed, conocido como la Hipótesis del Gran Mundo, sostiene que cualquier simulación del mundo es diminuta en comparación con su complejidad real. Sutton enfatiza que no se puede generar datos sintéticos para comprender las mentes de otros agentes y que la calidad de estos datos depende de expertos humanos, lo que representa otro punto débil en su aplicación.