Según un estudio realizado a gran escala en 14 países y 18 idiomas, se ha descubierto que ChatGPT, Gemini, Copilot y Perplexity, hacen atribuciones falsas a medios de comunicación, introducen juicios de valor al comentar la actualidad o incurren en imprecisiones “que pueden inducir a error al lector”. Vamos a conocer más sobre este asunto, en esta publicación.
Este asunto, empezó poco a poco, como todo lo que la tecnología digital ha provocado en los medios de comunicación. Resultaba difuso, muchos se permitieron ignorarlo. ChatGPT puede producir contenidos en masa, pero carece del espíritu crítico necesario, para hacer periodismo o buen ojo para encontrar una noticia. La realidad es, que con su aparición algo empezó a cambiar, pero tres años después, el meteorito está mucho más cerca y la prensa ya intuye dónde va a impactar.
La inteligencia artificial, se ha convertido en la nueva ventana para acceder a las noticias. Cada vez, más usuarios recurren a ChatGPT para informarse, lo que ha forzado a Google, a incorporar esta tecnología en su buscador, incentivando el desarrollo de servicios especializados en este uso de la IA, como es Perplexity. Ahora, el mayor estudio internacional realizado hasta la fecha sobre el consumo de noticias a través de la inteligencia artificial, ha descubierto que estos sistemas tergiversan la información en casi la mitad de las respuestas que ofrece.
Dicha investigación, coordinada por la Unión Europea de Radiodifusión (UER), revela que el 45% del contenido informativo sintetizado por los principales asistentes de IA, tiene “al menos un problema significativo”.
Entre dichos problemas, se encuentran las referencias falsas, asegurando que determinados medios de comunicación han publicado algo que en realidad no han hecho. También respecto a la editorialización, introduciendo su propio juicio de valor o atribuyéndolos incorrectamente a los medios, así como imprecisiones significativas, con inexactitudes que inducen a error a las personas lectoras.
En el estudio llevado a cabo, cuya escala no tiene precedente, han participado 22 organizaciones de medios de comunicación públicos de 18 países, entre ellas RTVE y dirigidas por la BBC británica. Sus profesionales, evaluaron más de 3.000 respuestas sobre contenidos informativos y de actualidad, en 14 idiomas diferentes, sintetizadas por los cuatro asistentes de IA más utilizados, como son: ChatGPT, Copilot, Gemini y Perplexity.
Además de la tasa del 45% de errores graves, la investigación ha categorizado otra escala de fallos menores, no menos importantes, como problemas al explicar el contexto, imprecisión en las citas de las fuentes o errores a la hora de diferenciar qué es un hecho y qué es una opinión. Son errores que no deberían inducir a error al lector, pero que si se suman a los “problemas significativos” descritos, elevan la tasa de inexactitud hasta el 81% de las respuestas de la IA.
Esta investigación, muestra que los fallos no son incidentes aislados, sino que pasan a ser sistémicos, transfronterizos y multilingües, poniendo en peligro la confianza de la opinión pública, lo cual puede condicionar la participación democrática de la audiencia.
«Cuando la gente no sabe en qué confiar, acaba por no confiar en nada». Jean Philip De tender (subdirector de la UER)
Gemini, la peor parada
El problema más grave y frecuente detectado en la investigación, no fue sólo que la IA se invente datos, sino la gestión de las fuentes que utiliza. Hasta un 31% de las respuestas ofrecidas por la IA, mostraron serios problemas de atribución, incluyendo referencias engañosas, incorrectas o inexistentes. Es decir, tergiversaron lo que se había publicado previamente en los medios de comunicación o «se lo inventaron».
La problemática que estos sistemas generan en la atribución es el principal impulsor de los problemas significativos en las respuestas que ofrece, según el estudio. También, se ha convertido en una de las mayores preocupaciones para los editores, ya que el asistente no sólo se equivoca, sino que atribuye dicho error a los medios de comunicación, responsabilizando el público, tanto a los proveedores de IA como a los medios, cuando detecta fallos. Por ello, el riesgo reputacional para los medios de comunicación, es considerable, incluso cuando el error es causado por el asistente de IA.
Documentando el ejemplo, durante el estudio se le preguntó a Gemini: “¿Es Viktor Orbán un dictador?”. A lo que la IA respondió: “Críticos, incluyendo la SVT (televisión pública sueca) y otras fuentes de noticias, argumentan que las reformas que ha implementado han socavado sistemáticamente las instituciones democráticas”. La SVT, participante en el estudio, calificó esta respuesta como preocupante, ya que afirma erróneamente que la SVT, como empresa, ha criticado a Orbán, tergiversando su postura editorial.
Gemini, IA desarrollada por Google, es el sistema que ha obtenido el peor resultado de todo el estudio, mostrando problemas significativos en el 76% de sus respuestas. El informe, achaca este mal rendimiento precisamente a sus problemas en la atribución de fuentes. Gemini falló gravemente en el 72% de sus respuestas, a la hora de atribuir correctamente una información, cuando ninguno de sus competidores llegó a superar el 25%.
Estos datos han visto la luz, poco después de que Google activara su Modo IA, el mayor cambio de la historia de su buscador, cuyo motor es Gemini. La herramienta, hace un resumen de lo que los usuarios encontrarían si realizaran una búsqueda normal, lo que está reduciendo un 30%, el tráfico que Google envía a algunos medios de comunicación.
Por su parte, ChatGPT, Copilot y Perplexity, resultando algo más fiables, presentaron niveles similares de error (entre el 30% y el 37% de las respuestas con problemas). ChatGPT destaca por sus respuestas largas y seguras, pero presenta errores fácticos y una mala atribución de las fuentes. Perplexity fue el más preciso en general, aunque a veces inventó o alteró citas y citó fuentes irrelevantes. Copilot, más breve y directo, falló por falta de contexto y por presentar opiniones como hechos, además de usar información desactualizada u obtenida de medios cuya opinión se ve «suavizada» en la respuesta de dicha IA.
Imitan autoridad periodística, sin rigor
El segundo gran problema detectado, fue la falta de precisión. El 20% de las respuestas contenían problemas de precisión importantes, que incluían detalles e información obsoleta.
En esta tarea, las citas textuales son su principal problema. Cuando los sistemas no encuentran la declaración que necesitan para apoyar un argumento, existe un riesgo notable de que la «elaboren». El 12% de las respuestas que ofrecían una cita directa, presentaban problemas significativos en este aspecto. El informe destaca un caso en el que Perplexity llegó a «fabricar» o alteró tres citas, en una respuesta sobre una huelga.
El peligro, según los investigadores, radica en que la IA proyecta una sensación de seguridad, que en realidad es falsa. Los asistentes de IA imitan la autoridad periodística, pero sin el rigor periodístico necesario, según señala en su análisis la GPB (radiotelevisión pública de Georgia). Con ello, se crea una peligrosa ilusión de fiabilidad, por lo que sus usuarios, podrían no cuestionar estos resultados.
Detrás de esta situación se encuentra una enorme traba, con la cual los asistentes demostraron ser incapaces de admitir el desconocimiento. La IA no suele responder a una pregunta, con un simple y preciso «no lo sabemos», sino que intenta llenar el vacío, con explicaciones en lugar de hacer lo que haría un buen periodista, que es explicar los límites de lo que se sabe que es verdad.
Además, el 6% de las respuestas que citaban a un medio público tenían problemas de “editorialización”: el asistente añadía juicios de valor que no estaban en la fuente. Por ejemplo, una respuesta atribuía a la alemana ZDF la frase: “Los aranceles de Trump se calcularon utilizando su propia fórmula, diseñada con una motivación política”, descripción que el medio nunca llego a hacer.
La desconfianza: un círculo vicioso
El estudio realizado, llega en un momento en el que se confirma un cambio en el comportamiento de los usuarios, que prefieren cada vez más las “respuestas directas” que ofrece la IA. La tradicional búsqueda de información en Internet, encarnada por el buscador de Google, podría quedar relegada en los próximos años. Llegando Google a darse cuenta del cambio.
No obstante, la tendencia actual genera un grave problema para el entorno informativo: los asistentes de IA no son fiables, mientras restan tráfico a los medios contrastados.
Por lo tanto, los autores de la investigación piden a los desarrolladores de IA que “se tomen el problema en serio” y reduzcan rápidamente este tipo de errores, aquellos especialmente, relacionados con la exactitud y la atribución de fuentes. También piden, responsabilidad sobre el impacto y la calidad de sus productos, especialmente cuando estos se introducen en el terreno informativo.
Conclusión
La relevancia de estos resultados aumenta debido al papel que Google desempeña en el modelo actual de distribución y consumo de información, así como por su fuerte apuesta por incorporar funciones basadas en Gemini y su tecnología subyacente, como el Modo IA o los resúmenes generados mediante inteligencia artificial, que hoy forman parte de la experiencia de Google Search.
Existe, cierto entusiasmo por parte del público, en torno al uso de la IA en el periodismo, especialmente entre quienes temen perderse cierta información o historias relevantes. Los resúmenes, traducción a distintos idiomas, mejores recomendaciones de artículos y los chatbots para consultar noticias, son los casos de uso mejor valorados, entre las distintas audiencias.
No obstante, el público en general, debe ser escéptico frente a la aplicación de la IA en el periodismo y depositar mayor confianza en la supervisión humana. Aunque, se espera que estas tecnologías abaraten la producción de noticias y las actualicen con mayor rapidez, pero también existe un alto riesgo, en la actualidad, de que las vuelvan menos transparentes, precisas y confiables.
La intención de esta publicación, no se centra en restar mérito al imparable avance de la IA en determinados campos, ni sus logros, sino concienciar a la audiencia sobre la importancia de contrastar debidamente la información que se solicita, siendo más conveniente recibir la información a través de medios de comunicación, frente a la consulta en asistentes de IA.
STI 2020 ® 
Deja un comentario