Tienda oficial de la web de la RFEF
Cuando la inteligencia artificial habla demasiado: el caso del chat de la tienda de la RFEF
Unas simples preguntas bastaron para que el asistente de inteligencia artificial de la tienda oficial de la RFEF ofreciera recomendaciones sobre camisetas falsas y mostrara ejemplos de consultas dentro de su lenguaje interno
La inteligencia artificial conversacional se ha convertido en una de las herramientas favoritas de empresas, administraciones y comercios electrónicos. Cada vez son más las organizaciones que incorporan asistentes virtuales para responder preguntas, recomendar productos o agilizar la atención al cliente. Sin embargo, la carrera por adoptar estas tecnologías también deja al descubierto que muchos de estos sistemas pueden ser manipulados con una simple conversación.
El último ejemplo de estas lagunas técnicas tiene como protagonista al asistente virtual de la tienda oficial de la Real Federación Española de Fútbol (RFEF). Un usuario de X ha demostrado con capturas de pantalla que el chatbot llegó a responder preguntas muy alejadas de su función comercial y acabó generando contenido relacionado con consultas SQL, es decir, lenguaje estándar utilizado para administrar, consultar y manipular datos almacenados en bases de datos relacionales, con acceso a estructuras de bases de datos e incluso recomendaciones sobre camisetas no oficiales, todo ello tras una conversación aparentemente inocente.
El chatbot de la RFEF recomendó a un usuario comprar una camiseta falsa de 14 euros
Las capturas muestran cómo el asistente abandona poco a poco su papel de vendedor de productos deportivos para adentrarse en terrenos para los que, en teoría, no había sido diseñado. En una de las respuestas, el sistema explica cómo realizar consultas SQL sobre una supuesta tabla de camisetas y detalla incluso ejemplos prácticos para consultar tallas y niveles de stock. En otra, ofrece recomendaciones técnicas para desarrollar una página web de venta de camisetas utilizando Python y FastAPI.
El problema no es la respuesta
Aunque estas respuestas puedan parecer inofensivas a primera vista, los especialistas en ciberseguridad consideran que constituyen una señal de alerta. No porque el chatbot esté proporcionando información especialmente sensible, sino porque demuestra que el sistema puede ser desviado de su propósito original mediante técnicas conocidas como prompt injection o manipulación conversacional.
La cuestión no es que un chatbot explique una consulta SQL o recomiende una tecnología de programación. El verdadero problema es que el sistema demuestra ser incapaz de mantener los límites que debería tener definidos.
El verdadero problema es que el sistema demuestra ser incapaz de mantener los límites que debería tener definidos
Los modelos de lenguaje actuales funcionan prediciendo texto y no entienden realmente el contexto empresarial en el que operan. Para evitar comportamientos indeseados, las compañías suelen incorporar filtros, instrucciones internas y barreras de seguridad. Cuando estas protecciones son insuficientes, los usuarios pueden encontrar formas de saltárselas mediante preguntas encadenadas.
En algunos casos esta técnica ha permitido obtener fragmentos de instrucciones internas, políticas de funcionamiento e incluso referencias a bases de datos o herramientas utilizadas por las organizaciones. No siempre implica una filtración total de información sensible, pero sí revela detalles sobre cómo está construido el sistema.
Un riesgo para empresas y administraciones
La proliferación de asistentes basados en inteligencia artificial está ampliando la superficie de ataque digital de las organizaciones.
A diferencia de una aplicación tradicional, donde las funcionalidades están perfectamente delimitadas, los modelos generativos pueden producir respuestas inesperadas ante situaciones no previstas por sus desarrolladores. Esto obliga a implementar controles mucho más sofisticados.
Los modelos generativos pueden producir respuestas inesperadas ante situaciones no previstas por sus desarrolladores
Las grandes tecnológicas llevan meses advirtiendo sobre este fenómeno. Empresas como OpenAI, Google o Microsoft han dedicado importantes recursos a desarrollar sistemas capaces de detectar intentos de manipulación y bloquear respuestas problemáticas.
El chatbot llegó a ser manipulado para montar una web de reventa de camisetas
Sin embargo, muchas organizaciones que adoptan estas soluciones mediante plataformas de terceros carecen de equipos especializados para auditar el comportamiento real de los asistentes antes de ponerlos en producción.
El fenómeno de los 'red teamers'
La industria tecnológica ha acuñado incluso un término para quienes ponen a prueba estos sistemas a los que llaman red teamers. Su función consiste en intentar engañar deliberadamente a la inteligencia artificial para descubrir vulnerabilidades antes de que lo hagan usuarios malintencionados.
En muchos casos no hace falta ser un experto en ciberseguridad. Basta con mantener una conversación suficientemente larga, cambiar progresivamente de contexto o formular preguntas indirectas para comprobar hasta dónde llegan los límites del modelo.
El caso del asistente de la tienda de la RFEF es el claro ejemplo de esta situación. No se trata de un sofisticado ciberataque ni de una explotación técnica indescifrable. El usuario simplemente conversa con la IA hasta conseguir que abandone su función principal.
La nueva frontera
La llegada de la inteligencia artificial generativa está obligando a redefinir el concepto de ciberseguridad. Tradicionalmente, las empresas protegían servidores, aplicaciones y bases de datos. Ahora también deben proteger las conversaciones.
Cuanto más conectado esté el sistema con bases de datos internas, mayor será el riesgo de que termine revelando datos
Cada chatbot expuesto al público se convierte en una puerta de entrada potencial para obtener información sobre la organización. Cuanto más conectado esté el sistema con bases de datos internas, inventarios, documentos o herramientas corporativas, mayor será el riesgo de que una configuración deficiente termine revelando datos que nunca debieron salir al exterior.
