Investigadores de Harvard tratan de desentrañar la caja negra que explique el funcionamiento de la IA

Los sistemas de inteligencia artificial construidos sobre redes neuronales, entre ellos ChatGPT, Claude, DeepSeek o Gemini, han demostrado una capacidad extraordinaria para procesar información, generar respuestas y resolver tareas complejas. Sin embargo, pese a esa potencia, su funcionamiento interno continúa siendo en buena medida una «caja negra». Con el propósito de avanzar en la comprensión de estos mecanismos, un grupo de físicos de la Universidad de Harvard, en Estados Unidos, ha desarrollado un modelo matemático simplificado del aprendizaje en redes neuronales que puede estudiarse con las herramientas propias de la física estadística.

Este tipo de «modelos simplificados», como el que se expone en un estudio publicado recientemente en el Journal of Statistical Mechanics: Theory and Experiment (JSTAT), permite a los investigadores trabajar en un laboratorio teórico controlado. En ese entorno pueden analizarse los mecanismos básicos que explican cómo aprenden las redes neuronales. Una comprensión más precisa de estos procesos podría contribuir al diseño de sistemas de inteligencia artificial más eficientes y fiables, además de ofrecer vías para afrontar algunos de los problemas actuales de esta tecnología.

La comparación con la historia de la física resulta ilustrativa. Antes de que Newton formulara la ley de la gravedad, Kepler había descrito las leyes del movimiento de los planetas a partir de la observación. «Las leyes de la gravedad de Newton se descubrieron identificando primero leyes de escala entre los periodos orbitales de los planetas y sus radios», explica Alexander Atanasov, estudiante de doctorado en física teórica en la Universidad de Harvard y primer autor del nuevo estudio.

En la actualidad, la comunidad científica ha identificado varias leyes empíricas que describen el comportamiento de las redes neuronales. No obstante, aún falta una teoría equivalente a la «gravedad» que explique por qué estos sistemas funcionan como lo hacen. Una de esas regularidades son las leyes de escala. «Sabemos que, si ampliamos un modelo o le proporcionamos más datos, su rendimiento aumenta», explica Cengiz Pehlevan, profesor asociado de Matemáticas Aplicadas en la Universidad de Harvard y autor principal del estudio.

Estas leyes ayudan a anticipar el rendimiento de los modelos, pero no aclaran los mecanismos que lo hacen posible. Además, el enfoque actual resulta costoso, ya que los sistemas de inteligencia artificial consumen enormes cantidades de energía, y aporta todavía poco a la comprensión profunda de su funcionamiento. «Los modelos de aprendizaje profundo no son algoritmos escritos a mano como un conjunto de reglas. No se diseñan manualmente», explica Atanasov. «Se parecen mucho más a un organismo que se cultiva en un laboratorio».

Los chatbots de inteligencia artificial generativa se apoyan en redes neuronales, una tecnología que, de manera muy distante, recuerda al funcionamiento de un cerebro biológico. Están formadas por muchas unidades pequeñas de procesamiento, llamadas neuronas artificiales, que realizan operaciones sencillas y se conectan entre sí dentro de una estructura compleja. De esa red surge el comportamiento considerado «inteligente».

Aunque se conocen las operaciones matemáticas de cada componente, explicar y predecir el comportamiento global del sistema sigue siendo extremadamente difícil. A medida que aumenta el número de elementos, la complejidad crece con rapidez. Por esa razón, como no es posible analizar con métodos matemáticos exactos una red neuronal completa, Atanasov y sus colaboradores optaron por estudiar un modelo simplificado que conserva varias características esenciales de los sistemas más complejos.

«El modelo que estamos estudiando es lo suficientemente simple como para resolverse matemáticamente», explica Jacob Zavatone-Veth, investigador asociado de la Harvard Society of Fellows y coautor del estudio. «Al mismo tiempo, reproduce varios de los fenómenos clave observados en grandes redes neuronales».

El modelo utilizado es la regresión de cresta, una variante de la regresión lineal. Esta última es un método estadístico que permite estimar relaciones entre variables. Por ejemplo, si se conocen la altura y el peso de 100 personas, puede buscarse una relación matemática entre ambos datos para calcular la altura de una nueva persona a partir de su peso.

La regresión de cresta ayuda a reducir el sobreajuste, un fenómeno que aparece cuando un modelo memoriza los datos de entrenamiento en lugar de aprender patrones generales que le permitan hacer predicciones fiables con información nueva. En este punto surge uno de los enigmas del aprendizaje profundo. «A pesar de su enorme tamaño, estos modelos pueden aprender de los datos sin sobreajustarse», explica Atanasov, que lo califica como «uno de los grandes misterios del aprendizaje profundo».

En principio, los modelos más grandes deberían ser más vulnerables al sobreajuste. Sin embargo, las leyes de escalado muestran que su rendimiento suele mejorar cuando se entrenan con más datos. El nuevo estudio plantea una explicación: la capacidad de aprender sin sobreajustarse podría estar vinculada a principios de la teoría de la renormalización, un marco muy utilizado en física estadística.

Los sistemas actuales, como ChatGPT, operan en espacios con miles o incluso millones de variables. En contextos de tan alta dimensionalidad aparecen pequeñas variaciones aleatorias, conocidas como fluctuaciones estadísticas. La teoría de la renormalización muestra que muchos detalles microscópicos pueden integrarse en un conjunto reducido de parámetros, de modo que sistemas muy complejos pueden presentar comportamientos generales relativamente sencillos.

A partir de este enfoque y de su modelo simplificado, los investigadores muestran que esas fluctuaciones de alta dimensión pueden estabilizar el aprendizaje en lugar de desordenarlo. «Esto es algo que podemos comprender analizando modelos lineales más simples», agrega Pehlevan. Ese mecanismo podría ayudar a explicar por qué las redes neuronales modernas evitan el sobreajuste pese a estar altamente sobreparametrizadas.