«Podemos perder el control»: Anthropic pide una pausa mundial mientras la IA ya diseña su propio sucesor

Anthropic ha advertido de que, en los próximos años, los sistemas podrían llegar a diseñar por sí mismos a sus sucesores y ha pedido una pausa coordinada a escala mundial para frenar el ritmo de los modelos más avanzados.

En una entrada de blog firmada por Jack Clark, cofundador de Anthropic, y Marina Favaro, directora de The Anthropic Institute, la compañía detalla cómo está delegando cada vez más tareas de desarrollo en sus propios sistemas de IA. Su diagnóstico es que el sector se acerca a la llamada «automejora recursiva», un punto en el que la IA podría diseñar, entrenar y mejorar nuevas generaciones de modelos con una intervención humana mínima.

Los autores subrayan que este escenario «no es inevitable», pero sí plausible en un horizonte de pocos años, y que, si llega antes de que gobiernos e instituciones estén preparados, podría desencadenar una disrupción social de gran calado. Por eso, aseguran, el ritmo actual de desarrollo no debería darse por descontado como algo benigno o neutral.

La automejora recursiva

El concepto de automejora recursiva se refiere a sistemas capaces de mejorar su propio código, sus herramientas y sus procesos de entrenamiento, generando un bucle en el que cada generación de IA acelera la llegada de la siguiente. Anthropic sostiene que este tipo de capacidades podría ser extremadamente útil para la ciencia o la medicina, al automatizar grandes bloques de investigación y desarrollo.

El concepto de automejora recursiva se refiere a sistemas capaces de mejorar su propio código

Sin embargo, la empresa advierte de que, si los sistemas llegan a crear «por completo a sus propios sucesores», las estrategias para hacerlos seguros, supervisarlos y modelar su comportamiento pasan a ser «mucho más importantes». En el peor de los casos, un proceso de mejora acelerada sin suficientes salvaguardas podría aumentar el riesgo de que los humanos pierdan parcialmente el control de la dirección y el uso de estos sistemas.

Por qué Anthropic pide una pausa global

La tesis central del texto es que «probablemente sea bueno» ralentizar o incluso pausar temporalmente el desarrollo de los modelos de frontera para que las estructuras sociales y la investigación en alineamiento puedan «seguir el ritmo». Anthropic plantea un mecanismo global que dé a la comunidad internacional la opción real de frenar, no solo un llamamiento retórico a la prudencia.

La tesis central del texto es que «probablemente sea bueno» ralentizar o incluso pausar temporalmente el desarrollo

La compañía insiste en que una pausa efectiva solo tendría sentido si la adoptan de forma coordinada los laboratorios mejor financiados de varios países, en particular las grandes potencias tecnológicas. De lo contrario, detenerse de manera unilateral sería, en la práctica, regalar ventaja competitiva a actores menos escrupulosos.

Cómo se verificaría que todos se detienen

Anthropic propone, además, ayudar a construir los sistemas técnicos necesarios para que esa pausa sea verificable. La idea pasa por desarrollar mecanismos que permitan comprobar si otros laboratorios realmente han detenido el entrenamiento de nuevos modelos por encima de determinados umbrales de capacidad, evitando así que un «mal actor» aproveche el parón.

El propio diseño de la pausa, defiende la empresa, debería ser «creíble» y bien definido: habría que fijar qué la desencadena, bajo qué condiciones se levanta y quién actúa como árbitro del proceso. Sin ese marco, cualquier acuerdo correría el riesgo de convertirse en papel mojado en un mercado donde las inversiones en IA superan ya los cientos de miles de millones de dólares anuales.

Claude ya escribe la mayoría del código

Para sustentar su advertencia, Anthropic recurre a sus propios datos internos sobre el rendimiento de Claude, su familia de modelos avanzados. Según la empresa, más del 80 % del código que se integra hoy en su base de código ha sido generado por Claude, frente a menos del 10 % hace poco más de un año. Esa transición refleja un giro rápido hacia lo que algunos analistas describen como «colegas sintéticos» que se ocupan de buena parte del trabajo de ingeniería.

Los datos internos apuntan también a un salto en productividad ya que un ingeniero medio en Anthropic fusiona ahora hasta ocho veces más código al día que en 2024 gracias al apoyo de agentes de IA, mientras que la tasa de éxito de Claude en tareas de programación complejas ha subido decenas de puntos porcentuales en apenas unos meses. En ciertos proyectos, los agentes de Claude han resuelto casi por completo retos de investigación que antes requerían semanas de trabajo de equipos humanos.

Una industria que ya se acelera sola

Lo que describe Anthropic encaja con la tendencia de que la automatización progresiva del propio ciclo de I+D en inteligencia artificial. Cada vez más empresas utilizan modelos para diseñar arquitecturas, ajustar hiperparámetros, limpiar datos o evaluar resultados, y esa automatización va convergiendo hacia agentes capaces de gestionar experimentos «de extremo a extremo».

Los autores del texto consideran que «todas las piezas están ya en su sitio» para que la IA automatice vastas franjas de la ingeniería de IA, e incluso buena parte de la investigación, antes de que termine la década. De mantenerse las curvas actuales de mejora y despliegue, la pregunta ya no sería si los sistemas participarán en su propia construcción, sino cómo asegurar que, al hacerlo, respeten los objetivos humanos.