ChatGPT genera datos falsos para respaldar hipótesis científicas

La llegada de la inteligencia artificial generativa ha supuesto una auténtica revolución que puede resultar tan beneficiosa como perjudicial para la humanidad. Todo depende del uso que se haga de ella.

Uno de los ejemplos de que un empleo perverso puede llevar a engaño en caso de que no se empleen los mecanismos de verificación adecuados lo ha expuesto un equipo de investigadores del departamento de Oftalmología de la Universidad Magna Graecia de Catanzaro (Italia).

En una carta publicada en la revista Jama Ophtalmology y recogida por Nature, el equipo ha relatado cómo ChatGPT es capaz de crear datos falsos que permiten respaldar hipótesis científicas de manera fraudulenta.

En concreto, el equipo ordenó al chatbot que creara datos para ‘certificar’ que un determinado tratamiento para una enfermedad era más efectivo que otro cuya idoneidad ya se había demostrado anteriormente.

«El fin era demostrar cómo, en cuestión de minutos, se puede crear un conjunto de datos que no están respaldados, y que son opuestos o van en la dirección contraria a la evidencia disponible», explica el coautor del estudio y cirujano ocular de la Universidad de Cagliari, Giuseppe Giannaccare.

Resultados

Para ello, los investigadores utilizaron GPT-4, la versión más avanzada del modelo de lenguaje de ChatGPT. Con una simple orden de texto, le pidieron que generara resultados de un ensayo clínico ficticio sobre un tratamiento de córnea.

Los datos emitidos incluyeron a 160 participantes masculinos y 140 femeninos y revelaron que aquellos que se sometieron a un tratamiento conocido como queratoplastia lamelar anterior profunda (DALK) obtuvieron mejores puntuaciones, tanto en la prueba de visión como en la prueba de imágenes, que aquellos que se sometieron a queratoplastia penetrante (PK). Estos resultados contradicen los hallazgos realizados hasta la fecha, que indican que la eficacia de ambas terapias es similar hasta dos años después de la cirugía.

«Parece que es bastante fácil crear conjuntos de datos que sean, al menos superficialmente, plausibles y que, para un ojo inexperto, parezcan reales», apunta el bioestadístico de la Universidad de Manchester (Reino Unido) Jack Wilkinson.

«Una cosa es que la IA pueda usarse para generar textos que no son detectables mediante softwares de plagio, pero la capacidad de crear conjuntos de datos falsos, pero realistas es algo muy serio», apunta la microbióloga e investigadora Elisabeth Bik. Dicha tecnología, advierte, «hará que sea muy fácil para cualquier investigador o grupo de investigadores crear mediciones falsas en pacientes inexistentes y respuestas falsas a cuestionarios, así como generar un gran conjunto de datos sobre experimentos con animales».

Aunque los autores subrayan que una revisión exhaustiva por pares habría sido capaz de encontrar anomalías en esos datos generados por IA, también admiten que esta fase «a menudo no llega a un reanálisis completo de los datos». Además, creen, si una IA mejorada elabora estadísticas más sofisticadas, la probabilidad de destapar el engaño es mucho menor.

Por ello, en opinión del editor jefe de EMBO Reports, Bernd Pulverer, las revistas científicas deberán actualizar los controles de calidad para identificar y evitar este tipo de estudios falsos.