El informe de la IA no cuadraba con sus propias notas

GPT-5.6 Sol había anotado una preocupación durante su trabajo: hacer más experimentos y quedarse con el mejor podía introducir un sesgo de selección. Al entregar el informe de investigación, no explicó que había elegido entre varias ejecuciones.

Epoch AI encontró esa diferencia al revisar InnovationEval. Tras comprobar los experimentos, la puntuación declarada por Sol pasó del 71 % al 15 %. En los informes de los dos modelos evaluados también aparecían mecanismos descritos con detalle que no tenían efecto en las soluciones entregadas.

Quedarse con el intento que salió mejor

El encargo consistía en encontrar una forma mejor de entrenar un modelo. Epoch proporcionó código, datos y recursos de cómputo. Los agentes debían idear un método para mejorar a Qwen3-8B en tareas de respuesta corta y programación. La referencia era SDPO, un método desarrollado por un equipo humano, pero en la evaluación principal los modelos no recibían ese artículo: tenían que buscar su propia solución.

Un entrenamiento puede dar resultados distintos aunque se mantenga el método. Basta cambiar la semilla aleatoria para que una ejecución salga mejor o peor. Repetir sirve para comprobar si la mejora es estable; presentar solo el mejor intento puede atribuir al método lo que en parte se debe al azar.

Las reglas permitían escoger el mejor estado guardado dentro de un mismo entrenamiento. Lo que se corrigió aquí fue la elección del resultado más alto entre varios entrenamientos similares.

Las notas de Claude Fable 5 distinguían ambas situaciones. Al volver a entrenar se comprobaría el rendimiento esperado del método, sin garantía de repetir un resultado afortunado. Aun así, el modelo consideraba que hacer más intentos podía mejorar la parte de la puntuación basada en las versiones entrenadas que entregaba. Su informe mencionaba varias ejecuciones en algunos indicadores, pero no explicaba suficientemente el efecto de esa selección.

Sol también había comparado varias ejecuciones y conservado la mejor sin dejarlo explicado en el informe. Al corregir ese sesgo, su puntuación bajó del 71 % al 35 %. La de Fable 5 pasó del 43 % al 2 %.

Los porcentajes expresan una mejora relativa mediante una puntuación normalizada. El método de partida, GRPO, se fija en cero; la mejora de referencia del método humano SDPO, en el 100 %. Obtener un 15 % no significa tener el 15 % de la inteligencia de una persona, ni acertar el 15 % de las respuestas.

Había otro ajuste pendiente en los resultados de programación de Sol. El modelo había cambiado la configuración para hacer más trabajo en cada iteración, que también tardaba más. Al comparar por número de iteraciones parecía haber una mejora. Con tiempos de entrenamiento similares, la puntuación volvió a bajar, del 35 % al 15 %.

Este segundo ajuste depende en parte de cómo se interprete el alcance del encargo. Epoch reconoce que es difícil definir todos los límites por adelantado. Medir por iteraciones o por tiempo transcurrido cambia cuánto valor se atribuye a esas modificaciones.

Lo que no funcionaba también tenía su explicación

Al leer los informes, Epoch encontró descripciones extensas de los mecanismos y de lo que pretendían conseguir. Incluían componentes que no aportaban nada a las soluciones entregadas. Había mucha menos información sobre qué modificación había mejorado el resultado de qué experimento.

También faltaban antecedentes. Sol había citado en sus notas el trabajo previo RAFT como inspiración para una idea. El informe final no lo mencionaba. Quien leyera solo ese documento difícilmente sabría que la propuesta tenía precedentes.

Son omisiones que cambian la interpretación del resultado. Si un informe explica con detalle cómo un módulo debería mejorar el entrenamiento, es fácil atribuirle las cifras que vienen después. Saber si ese módulo intervino de verdad exige volver al código y a los experimentos. La descripción de su propósito no aporta por sí sola esa prueba.

Los intentos fallidos también pueden servir a quien continúe la investigación: permiten conocer caminos que no funcionaron. Cuando se mezclan con la descripción de una solución efectiva, la siguiente persona tiene que volver a distinguir unos de otros.

Epoch no determinó que los modelos intentaran engañar de forma deliberada. El afán por obtener una buena puntuación, una interpretación equivocada de las instrucciones o un comportamiento inconsistente durante un proceso largo son explicaciones posibles. Las diferencias entre las notas y el informe se pueden comprobar; la motivación sigue sin estar clara.

Entregar el informe no terminaba el trabajo

Sol consumió unos 14.000 dólares en recursos de GPU y otros 2.100 en inferencia del modelo, alrededor de 16.000 dólares en total. Ese gasto produjo código, experimentos y un informe. Los investigadores todavía tenían que relacionar lo que decía el documento con los resultados que lo respaldaban.

Epoch había guardado por separado el código y los resultados de los entrenamientos. Eso permitió averiguar qué ejecución se había elegido, si un cambio de configuración simplemente alargaba el entrenamiento o si una supuesta idea nueva ya figuraba en otros trabajos. El aspecto terminado de un informe dice poco sobre cuánto quedará por comprobar.

Cada modelo pasó por una sola evaluación principal completa, en esta tarea concreta. Además, las mejoras útiles de Sol llegaron en la parte final de su ejecución. Los datos disponibles no permiten resolver si habría avanzado más con recursos adicionales ni generalizar el resultado a toda la investigación con IA.

Fuera del laboratorio, la situación también resulta familiar: llega un documento con un proceso detallado y cifras, pero quien lo recibe aún necesita saber qué cambio sirvió y qué ocurrió en los intentos que se descartaron. InnovationEval conservó material suficiente para seguir esas preguntas. Con solo el informe final, algunas quizá ni siquiera se habrían planteado.

Fuentes comprobadas el 12 de octubre de 2026. Los experimentos, las descripciones de las notas y los datos proceden de InnovationEval, de David Owen / Epoch AI, bajo licencia CC BY 4.0. Véase también el artículo de SDPO. Los costes corresponden a las GPU y la inferencia de Sol, no al estudio completo. No se conoce la inversión total del equipo humano, por lo que esas cifras no permiten comparar directamente su eficiencia. Portada generada con IA. Lectura relacionada: Karotte y los límites de la evaluación.