La nueva plataforma Optima, desarrollada por Artificial Analysis, permite a los usuarios crear sus propios benchmarks de inteligencia artificial adaptados a necesidades específicas. Este sistema se presenta como una solución a la limitación de los benchmarks generales, que a menudo no reflejan el rendimiento real de los modelos en aplicaciones del mundo real.
Optima permite la comparación de modelos de IA no solo en términos de calidad, sino también considerando el costo por tarea y el tiempo por tarea. Los usuarios pueden utilizar sus propios datos o descripciones de escenarios deseados para construir evaluaciones personalizadas. Además, la plataforma ofrece consejos sobre entradas de prueba y criterios de evaluación, permitiendo que los usuarios ajusten sus benchmarks antes de realizar las pruebas.
Los usuarios tienen la opción de cargar conjuntos de datos de evaluación existentes o describir su caso de uso, lo que facilita la creación de comparaciones adaptadas a flujos de trabajo individuales. Optima está disponible actualmente y representa un avance significativo en la evaluación personalizada de modelos de IA.