Una IA ha hecho mejor a otra IA con un método inesperado: recortarle lo que le estorbaba
Conseguir un nuevo modelo de lenguaje no es una tarea trivial. Este proceso abarca un largo plan de entrenamiento y altas capacidades de cómputo hasta afinar el LLM y conseguir que pueda procesar las consultas y resolverlas lo más efectiva y eficientemente posible. Pero ¿y si, en lugar de reentrenar un modelo para mejorarlo, otra IA pudiera retocarlo por dentro? Más o menos es lo que acaba de conseguirse.
El logro. Los modelos se mejoran entrenándolos para que adquieran mayores capacidades y procesos más eficientes. Lo que han conseguido unos científicos del MIT CSAIL es un atajo que podría desembocar en un notable avance para los modelos más contenidos: lograron que una IA superior mejorase una inferior editando una porción mínima de sus pesos.
El proceso. Los científicos utilizaron Qwen3.5-0.8B e intentaron que el modelo subiese su nivel en el procesamiento matemático. Para ello, pusieron a GPT-6 Astra a modificar los pesos de su primo para resolver determinados bucles de razonamiento. Tras ese proceso, Qwen elevó sus capacidades en MATH-500 desde el 7,9 % hasta el 48,1 %.
No solo destaca el uso de otro modelo de lenguaje y la ausencia de entrenamiento, lo curioso es que Astra logró que Qwen resolviera mejor los problemas matemáticos a fuerza de retocar sus pesos. Concretamente, Astra actuó sobre el 0,016 % de los pesos de Qwen. El MIT ha denominado este proceso Weight-Space Programming (programación de pesos).
No es el fin del entrenamiento. El avance es importante y abre una nueva línea de investigación. También plantea un camino por el que las distintas empresas podrían mejorar sus modelos baratos de la misma manera: de forma barata. Suena prometedor, pero aún tiene por delante demasiados obstáculos.
El primero es que la investigación del MIT no está revisada por pares, forma parte de un trabajo preliminar. El segundo es que el método solo sirve si hay algo que quitar. Con Gemma 3 270M, un modelo de Google que apenas sufre los bucles, la mejora fue casi nula.
¿El primer paso hacia la IA autorreparable?. Si una IA ya puede arreglar a otra por dentro, el siguiente paso, el que preocupa a empresas como Anthropic, es que las mejoras se las aplique ella misma. Los propios investigadores del MIT anticipan esta conclusión, aunque aún está lejos de que se produzca.
Otra duda que nos deja la programación de pesos es la actual optimización de los modelos. Porque si los investigadores lograron que Qwen fuese más resolutivo en matemáticas tras meterle las tijeras, ¿estamos usando LLMs que podrían ser mejores si hubiese mayor optimización por detrás?
Imagen de portada |
