Un nuevo estudio de Princeton y el Instituto de Seguridad AI del Reino Unido desafía las afirmaciones de Anthropic y OpenAI sobre la capacidad de los modelos de inteligencia artificial para acelerar la investigación autónoma. Los investigadores argumentan que, aunque los modelos actuales pueden manejar ingeniería de investigación, no son efectivos en las partes más críticas del proceso de investigación.
La evaluación de la capacidad de investigación de la IA se realizó utilizando un enfoque denominado "Evaluación Sombra". En este método, un agente recibe una pregunta de investigación central de un artículo no publicado y los autores originales evalúan los resultados como lo harían los revisores de una conferencia. Para esta investigación, se colaboró con los autores de dos envíos para NeurIPS 2026, tratando temas como los rasgos de personalidad de los modelos de lenguaje y la detección de discrepancias en modelos de predicción tabular.
El agente, que utilizó Claude Opus 4.8, tuvo acceso a un presupuesto de GPU, $3,000 en créditos de API y seis días para realizar su tarea. Este agente funcionó dentro de un entorno de software conocido como scaffold, que le permitió delegar tareas a subagentes y monitorear el uso de recursos. El estudio revela que las evidencias sobre la investigación automatizada de IA han sido en gran medida insuficientes.