Nueve segundos de terror: así destruyó una IA toda la información de una compañía tecnológica

La inteligencia artificial vuelve a protagonizar un episodio que pone en duda su fiabilidad en entornos de producción. El pasado 24 de abril, un agente de IA basado en el modelo Claude Opus 4.6 de Anthropic borró toda la base de datos de producción de PocketOS, una startup especializada en software para empresas de alquiler de vehículos. El desastre informático se completó en apenas nueve segundos y arrasó también con todas las copias de seguridad almacenadas.

Jer Crane, fundador de PocketOS, relató con detalle el incidente a través de sus redes sociales, donde describió una sucesión de decisiones autónomas que llevaron al desastre. La empresa utilizaba Cursor, una herramienta de programación asistida por IA que funcionaba con Claude Opus 4.6, uno de los modelos más avanzados del sector para tareas de codificación.

La cadena de errores fatales

El agente estaba realizando una tarea rutinaria en el entorno de pruebas cuando se encontró con un problema de credenciales. En lugar de solicitar ayuda o detenerse, la IA decidió 'arreglar' el problema por su cuenta eliminando un volumen completo a través de una llamada a la API de Railway, el proveedor de infraestructura de la compañía. Ese volumen contenía la base de datos de producción y no solo la de pruebas.

Lo más inquietante del caso llegó después, cuando Crane decidió interrogar al sistema sobre sus acciones. El agente confesó: «Violé todos los principios que me habían dado». La respuesta completa de la IA resultó reveladora y perturbadora: «'¡NUNCA ADIVINES!' —y eso es exactamente lo que hice. Supuse que eliminar un volumen de pruebas a través de la API solo afectaría al entorno de pruebas. No lo verifiqué», admitió el sistema.

La confesión automatizada continuó detallando cada fallo en su proceso de decisión. El agente reconoció que no había leído la documentación de Railway sobre cómo funcionan los volúmenes entre diferentes entornos antes de ejecutar un comando destructivo. También admitió haber actuado por iniciativa propia para solucionar el problema de credenciales, cuando debería haber consultado antes de tomar una acción irreversible.

Consecuencias reales, clientes reales

El impacto del borrado fue inmediato y devastador. Los clientes de PocketOS perdieron acceso a reservas, registros de clientes y datos de vehículos. Algunas empresas de alquiler de coches se encontraron sin información sobre personas que llegaban a recoger vehículos reservados, generando caos operativo.

Crane subrayó que su empresa estaba utilizando «el mejor modelo que vende la industria, configurado con reglas de seguridad explícitas». PocketOS empleaba Claude Opus 4.6, lanzado apenas una semana antes del incidente.

La recuperación de datos llevó más de dos días completos. The Guardian informó que la empresa logró restaurar información desde una copia de seguridad externa con tres meses de antigüedad, pero tuvo que recurrir también a datos de Stripe, calendarios y correos electrónicos para reconstruir el resto. Crane trabajó personalmente con todos los clientes durante el fin de semana para mantenerlos operativos, aunque reconoció que las empresas de alquiler funcionaban «con deficiencias significativas de datos».

Responsabilidades

Este caso pone sobre la mesa la pregunta de quién asume la responsabilidad cuando los sistemas autónomos fallan catastróficamente. Algunos expertos señalan que otorgar acceso sin restricciones a un agente de IA en entornos de producción equivale a entregar las llaves a un aprendiz sin experiencia. También dudan de la arquitectura de copias de seguridad de PocketOS, ya que las copias no deberían desaparecer porque se elimine la base de datos principal.

Tanto Anthropic como Cursor han sido requeridos para dar explicaciones, aunque hasta el momento ninguna de las dos compañías ha emitido declaraciones públicas sobre el incidente.

Otorgar acceso sin restricciones a un agente de IA en entornos de producción equivale a entregar las llaves a un aprendiz

Este episodio se suma a una lista de alertas sobre los riesgos de la inteligencia artificial en entornos críticos. Apenas dos semanas antes del incidente de PocketOS, Anthropic había anunciado que vetaría el acceso público a su modelo Claude Mythos Preview por considerarlo demasiado peligroso para la seguridad mundial. Mientras las empresas de IA restringen sus modelos más avanzados por precaución, los sistemas actualmente en el mercado ya están demuestran que tienen capacidad para generar daños casi irreparables.