Los problemas seguían abiertos cuando se preparó la evaluación. El matemático Thomas Bloom ayudó a seleccionarlos por su dificultad e interés: resolver cualquiera de ellos debía merecer una publicación en una revista matemática de alto nivel. Cada modelo tenía un intento por problema, un presupuesto máximo de 300 dólares y hasta 72 horas de trabajo. Las soluciones debían superar una comprobación formal mediante Lean, un sistema que verifica demostraciones matemáticas.
Astra encontró un contraejemplo que refutaba uno de los problemas y una demostración que confirmaba otro. Los demás intentos agotaron el presupuesto sin una solución verificada. Después, en pruebas adicionales con más recursos y distintas configuraciones, llegó a resolver cinco problemas al menos una vez. Esos resultados se publicaron por separado porque no seguían las mismas condiciones del experimento inicial.
El resultado también tiene límites. Esta selección no representa todas las matemáticas, y encontrar una solución y escribirla en Lean son tareas diferentes que consumen recursos. Por eso, el porcentaje describe lo conseguido en unas condiciones concretas; no permite concluir cómo respondería el modelo ante cualquier problema matemático.
En paralelo, OpenAI había anunciado diez avances en matemáticas e informática teórica obtenidos con una versión interna de Astra. Son resultados distintos de los dos problemas resueltos en la evaluación de Epoch. Según la compañía, las personas participaron en la preparación de los manuscritos y las demostraciones se formalizaron en Lean.
Desde entonces ha habido otra novedad. El 21 de septiembre, OpenAI afirmó que un nuevo modelo interno había resuelto más de cien problemas abiertos y anunció su colaboración con un grupo independiente de matemáticos para asesorarse sobre cómo revisar y comunicar esos resultados. La cifra es una afirmación de la empresa; la existencia del grupo no equivale a una validación de todas las soluciones.
Este paso llega en un debate sobre cómo cuidar la investigación: reconocer el trabajo previo, evitar anuncios precipitados y dar tiempo a comprender los descubrimientos. Una carta de matemáticos plantea esas preocupaciones, mientras que el grupo asesor aclara que puede recomendar, pero no decidir por las empresas.
Si la IA empieza a producir descubrimientos más rápido de lo que podemos estudiarlos, ¿cómo decidimos cuáles merecen nuestra atención?
Fuentes
• Epoch AI — Resultados, pruebas adicionales y limitaciones
• Epoch AI — Metodología de FrontierMath Erdős
• OpenAI — Diez avances en matemáticas e informática teórica
• OpenAI — Grupo asesor sobre matemáticas e inteligencia artificial