Los modelos de Anthropic mejoran a un ritmo aproximadamente el doble de rápido que hace un año, según una investigación de METR de 11 semanas que publicó primero The Verge. Los investigadores atribuyeron a la IA la mayor parte de la aceleración hasta octubre, mientras que las numerosas supresiones de información de Anthropic dejaron al público con menos elementos para evaluar los hallazgos y sus incertidumbres.
Los resultados de las pruebas de referencia de METR sugirieron que Anthropic había logrado en el último año un progreso equivalente a unos dos años de avances históricos. Los investigadores afirmaron estar seguros de que la aceleración no se debía simplemente a aumentar la capacidad de cálculo dedicada al entrenamiento, que históricamente ha sido un motor importante del progreso de la IA.
Las encuestas informales en Slack y las entrevistas a empleados respaldaron esta evaluación. Los empleados que usaban el modelo interno más capaz de Anthropic afirmaron que, en promedio, eran unas 12 veces más productivos en sus respectivas tareas que sin asistencia de IA. Eso era aproximadamente el doble de lo que el personal había declarado unos meses antes al usar Mythos 5.
Según METR, gran parte de esa aceleración parecía deberse a la asistencia de la IA a investigadores humanos, más que a que la IA trabajara de forma independiente. Los investigadores no encontraron señales claras de rendimientos decrecientes ni cuellos de botella observables que pudieran impedir una aceleración aún mayor; también señalaron indicios de que las contribuciones plenamente autónomas podrían desempeñar pronto un papel más importante.
Anthropic completó el entrenamiento de tres modelos aún no publicados en los últimos seis meses: Model 2 en julio, Model 3 en agosto-septiembre y Model 4 en septiembre-octubre. METR también identificó un modelo no publicado que data de 2022, llamado Unreleased 2022.
Anthropic compartió con METR investigaciones confidenciales, datos sobre el rendimiento de sus modelos y entrevistas a empleados, pero no concedió acceso irrestricto. Anthropic ocultó mediante tachaduras la mayoría de las pruebas que METR consideraba más informativas y denegó un pequeño número de solicitudes de datos.
La evaluación presenta los avances en las pruebas de referencia y las cifras de productividad declaradas por los propios empleados junto a un relato público que omite la mayoría de las pruebas que METR consideraba más informativas. El cofundador de Anthropic, Sam McCandlish, dijo que las tachaduras buscaban proteger información comercialmente sensible y evitar que los rivales obtuvieran una hoja de ruta para avanzar más rápido. Añadió que Anthropic planea publicar su propio informe sobre el progreso de la IA en las próximas semanas, junto con nuevas medidas de seguridad.