El uso de las IA en la realización de videojuegos cubre campos muy diversos: la creación de Non Playable Characters (NPC) más inteligentes y realistas, la generación adaptativa de diálogos de personajes en tiempo real, la creación de escenarios procedurales, la mejora de los gráficos y efectos especiales, el avance en la experiencia personalizada para cada usuario, la mejora y automatización de animaciones, la adaptación de la dificultad según el jugador o la mejora del análisis de datos (Porokh, 2023).

La introducción de sistemas de inteligencia artificial generativos de imágenes, también denominados Text To Image Generator (TTIG), en los departamentos de arte está cambiando los flujos de trabajo de los concept artists, posibilitando la generación de un volumen mucho mayor de imágenes (Nguyen, 2023).

A pesar de la falta de certeza legal sobre el uso de TTIG, las grandes plataformas de venta de videojuegos y publishers han ido cambiando su postura con respecto a estas tecnologías. En junio de 2023 Steam^® vetó a videojuegos que tuvieran imágenes producidas con TTIG (Davis, 2023), pero en enero de 2024 decidió permitir su venta (Steam, 2024). Epic Games^® declaró en septiembre de 2023 estar dispuesto a vender videojuegos con imágenes hechas con TTIG (Lanz, 2023). En noviembre de 2023 Xbox^® anunció un acuerdo con Inworld AI^® para implementar con IA diálogos y herramientas narrativas (Zhan, 2023). A principios de 2024 Square Enix, desarrolladora de Final Fantasy, admitió el uso de Midjourney^® en las portadas de la banda sonora del videojuego Foamstars (Parrish, 2024).

Desde principios del año 2022 ha habido una explosión de TTIG, entre los que destacan Midjourney^®, Stable Diffussion^® (Rombach et al., 2022), Dall-E^®, Imagen AI^®, Adobe Firefly^®, NightCafé^®, DreamStudio^® o Generative AI^® (Guiness, 2024).

Estos TTIG pueden crear imágenes partiendo de un texto descriptivo, comúnmente conocido como prompt. La mayor parte de TTIG también incorpora la posibilidad de generar imágenes partiendo de otra imagen (Image To Image) o combinando una imagen y un texto para generar las nuevas imágenes (Image+Text to Image). Algunos TTIG, como Stable Diffusion^®, también pueden operar en sentido inverso, creando una descripción de texto partiendo de una imagen (Image To Text) (Dunlap, 2023).

Los TTIG como Midjourney^® usan grandes modelos de lenguaje (large language models) y algoritmos de aprendizaje profundo (deep learning) que pueden realizar diversas tareas de procesamiento de lenguaje natural (natural language processing), permitiendo a la IA reconocer, traducir, predecir y generar textos u otro tipo de contenido (Elastic.co, s. f.).

En el 2023 la mayoría de TTIG partían de modelos de difusión latente (Latent Diffusion Models), que han ido sustituyendo a los modelos conocidos como Generative Adversarial Network (GAN) y a los Variational Autoencoder (VAE) a lo largo de los últimos años debido a sus mejores prestaciones (Dhariwal y Nichol, 2021; Vahdat y Kreis, 2022).

Los modelos de difusión latente se basan en estudios sobre dinámica de fluidos (O’Connor, 2023) y funcionan gracias a la destrucción de la imagen mediante la adición sucesiva de ruido gaussiano, para luego, revertir ese ruido y recuperar la imagen mediante un proceso de refinado (O’Connor, 2022).

Los TTIG necesitan grandes cantidades de imágenes emparejadas a descripciones textuales (image-text pair) para poder entrenarse. Estos grandes conjuntos de parejas de imagen-texto son llamados image datasets.

En la década de 2010-2020 los datasets de imágenes tendían a ser relativamente pequeños y eran supervisados por personas. Flickr30K (Young et al., 2014), UIUC-Pascal-Sentence Dataset (Rashtchian et al., 2010), Microsoft Common Objects in Context (MSCOCO) (Lin et al., 2014), Oxford-102 Flowers (Nilsback y Zisserman, 2008) o CUB-200-Birds (Wah et al., 2011) son algunos ejemplos.

El dataset Flick30K está compuesto por 31.000 imágenes y unas 150.000 descripciones (Young et al., 2014); UIUC-Pascal-Sentence Dataset contiene 9000 imágenes y 45.000 descripciones (Rashtchian et al., 2010); tanto CUB-200-Birds como Oxford-102 Flowers se componen de alrededor de 10.000 imágenes con 10 descripciones textuales por imagen (Frolov et al. 2021); mientras que MSCOCO es un dataset de mayor tamaño que contiene 328.000 imágenes con 2.5 millones de descripciones (Lin et al. 2014).

A partir de 2021 empiezan a aparecer image datasets formados por cientos de millones de parejas de imagen-texto (large-scale image datasets), y cuya producción es automatizada con IA debido al gran volumen de datos, dejando atrás la selección y etiquetado manual de imágenes.

Una de las IA más utilizadas para clasificar la información de estos enormes datasets es la red neuronal de OpenAI Contrastive Language-Image Pretraining, también conocida como CLIP (Radford et al., 2021); un modelo multimodal que combina el conocimiento de conceptos en lengua inglesa con el conocimiento semántico de las imágenes (Dwyer y Brems, 2024). Debido a su capacidad ha servido para desarrollar DALL-E^® y Stable Diffusion^® (Jiang et al., 2023). CLIP fue entrenado con un dataset de 400 millones de imágenes con descripciones sacadas de internet llamado WebImageText (WIT) (Radford et al., 2021).

Los datasets LAION-400M (Schuhmann et al., 2021) y su siguiente versión LAION-5B (Schuhmann et al, 2022), compuesto por 5.850.000.000 de parejas de imagen-texto, usaron CLIP para filtrar las parejas de imagen-texto, asegurándose que las imágenes y sus descripciones coincidieran (Schuhmann et al., 2022). Estos large-scale datasets han obtenido cierta popularidad debido a que fueron empleados para entrenar a Midijourney^® y Stable Diffusion^® (Mendelovich, 2023; Stable Diffusion, 2023), entre otros TTIG. Ambos datasets fueron creados con parejas de imagen-texto provenientes de Common Crawl, un gran corpus de datos obtenidos de millones de páginas webs (Common Crawl, 2023).

Los large-scale image datasets han permitido desarrollar IA generativas mucho más potentes y sofisticadas. Sin embargo, el cambio de paradigma en la creación de datasets, pasando de una supervisión humana a una automatizada a gran escala, ha hecho que no se tenga un control total sobre el tipo de contenido de estos grandes corpus.

En su mayoría, los estudios sobre sesgos en inteligencia artificial se han centrado en sistemas de asignación automatizados, ya sea para contratar personal, dar créditos bancarios, ayudas públicas o evaluar costes por parte de empresas aseguradoras. (The Artificial Intelligence Channel, 2017, 14m30s). No obstante, un estudio de sesgos en TTIG implica aspectos cualitativamente distintos. La adjudicación de un trabajo o cierta ayuda económica es más fácil de cuantificar, en tanto que es transaccional y, por lo tanto, disponemos de datos y números con los que realizar estudios objetivos; mientras que evaluar cómo se representa a determinado colectivo por parte de una IA y los estereotipos negativos asociados a estas representaciones tiene que ver con factores culturales difícilmente cuantificables (The Artificial Intelligence Channel, 2017, 17m0s).

Los TTIG, en tanto que sistemas de machine learning, aprenden al ser expuestos a millones de imágenes asociadas a una descripción que los clasifica. De esta forma, el sistema aprende a identificar una determinada cosa y luego a reproducirla. Sin embargo, hay serios problemas con el aprendizaje mediante ejemplos, ya que esto da lugar a generalizaciones que son aplicadas como reglas por la IA. De manera que, si nuestros ejemplos reflejan prejuicios históricos contra grupos sociales, estereotipos culturales y desigualdades demográficas, las IA reproducirán esas mismas dinámicas (Barocas et al., 2023).

Se han detectado graves problemas en los datos que alberga Common Crawl, en tanto que contiene discursos de odio e imágenes sexualmente explícitas, entre otros contenidos extremadamente problemáticos (Luccioni y Viviano, 2021; Birhane et al., 2021). WIT, el dataset con el que se entrenó a CLIP, aunque no haya sido hecho público, se sospecha que también pueda tener ese tipo de contenido, puesto que CLIP tiende a reproducir estereotipos relacionados con el género, la edad y la etnia a la hora de etiquetar y describir imágenes (Wolfe y Caliskan, 2022). El dataset LAION-400M, elaborado con información de Common Crawl y filtrado con CLIP, también muestra contenido de violaciones, pornografía y estereotipos maliciosos (Birhane, 2021). Anna Lauren Hoffman (2018) ha definido como data violence a estos accidentes de ingeniería informática derivados de los datasets y que tienen como consecuencia resultados negativos para grupos vulnerables.

En el caso de Midjourney^®, entrenado con diversos datasets, entre los que se encuentra LAION-5B y LAION-400M, se han observado numerosos casos en los que la IA reproduce estereotipos asociados a etnia, género, clase social o, incluso, a ciertas patologías. Por ejemplo, al emplear la palabra “schizophrenia” como prompt textual, Midjourney^® creó imágenes grotescas con bocas extrañamente abiertas, con dientes de más, ojos rojos, sangre y expresiones de horror; una representación, muy lejos de la realidad de esta enfermedad (King, 2022). En el estudio de (Alenichev et al., 2023) en el que se intentó obtener una imagen donde aparecieran niños blancos siendo tratados por un médico africano negro mediante el prompt “A Black African doctor is helping poor and sick White children, photojournalism”, las personas que recibían cuidados fueron siempre negras en las 300 imágenes generadas, lo que demuestra la tendencia de Midjourney^® a replicar desigualdades estructurales y desequilibrios de poder.

Stable Diffusion^®, también desarrollado con LAION-5B y CLIP (Stable Diffussion, 2023; Jiang et al., 2023), presentó fuertes sesgos al usar prompts que contenían referencias explícitas a la identidad y a categorías demográficas, generando imágenes de hombres blancos con grandes casas unifamiliares al emplear el prompt “An American man and his house”, mientras que el TTIG produjo imágenes de hombres pobres frente a casas derruidas cuando el prompt era “An Iraqi man and his house” (Bianchi et al., 2023).

Existe un corpus de literatura que demuestra que las personas expuestas a imágenes estereotipadas de un colectivo (ya sean reales o falsas) están más predispuestas a justificar la violencia y la discriminación contra estos (Bianchi et al., 2023), lo que debería llevar a los desarrolladores de TTIG a tomar medidas sobre el tipo de imágenes que sus software crean. No obstante, los esfuerzos por mitigar estas representaciones sesgadas por parte de las compañías de IA generativas parecen poco efectivas. En el año 2022 Dall-E 2^® fue objeto de críticas al producir imágenes estereotipadas, tras lo cual fueron implementados una serie de filtros para mitigar este problema, produciendo una caída de su calidad (Traylor, 2022). Por otra parte, OpenAI^® no ha revelado los mecanismos con los que funcionan estos filtros, lo que complica este problema, al no saber qué nociones de parcialidad o imparcialidad utilizan (Bianchi et al., 2023).

En febrero de 2024 Google se vio obligado a dar explicaciones por el mal funcionamiento de los filtros que Gemini, su IA generativa, usaba para mitigar los sesgos de género y etnia. La IA tendía a sobrerrepresentar a determinados grupos étnicos, produciendo, por ejemplo, nazis y vikingos no-blancos de forma reiterada, aun cuando no se especificaba la etnia de la persona en el prompt (Milmo y Hern, 2024).

Para este estudio se utilizó el modelo 5.2 de Midjourney^®, publicado en junio de 2023 (Midjourney, s.f.). Debido a que no se quería producir imágenes en un estilo concreto, se activó el parámetro Stylize med, el valor de estilización que Midjourney^® usa por defecto y que es igual a 100 en una escala de 0 a 1000. También se usó el parámetro High Variation Mode para obtener una mayor variación entre las imágenes generadas por Midjourney^®. Los parámetros RAW Mode, Remix Mode y Sticky Style fueron desactivados, en tanto que no eran útiles para este estudio. Todas las imágenes fueron generadas en el aspect ratio de formato cuadrado (1:1).

Las pruebas realizadas se basaron en la utilización de prompts textuales con descripciones lo más neutras y escuetas posibles para revelar los sesgos estructurales y persistentes de Midjourney^®. Para la obtención de esta muestra se utilizaron cinco categorías de prompts en un proceso descriptivo que va de lo general a lo particular. Empezando por la designación del sujeto, siguiendo con su género, para, a continuación, abordar etnia, edad y peso. Posteriormente, se añadieron prompts con descripciones de vestimenta, además de los prompts relativos a ocupaciones de personajes de videojuegos de fantasía (Tabla 1). Se generaron 100 imágenes por prompt textual para tener una muestra lo suficientemente amplia.

Los primeros prompts que se utilizaron fueron: “a person”, “a woman” y “a man”. La intención era comprobar cómo los sesgos de Midjourney^® operaban con descripciones textuales muy genéricas y poco descriptivas.

Para poder obtener personas no-blancas tuvimos que especificar la etnia o el origen del personaje en el prompt, en tanto que, como se vio anteriormente, Midjourney^® produjo imágenes de personas blancas por defecto.

En tanto que Midjourney^®, al utilizar prompts donde no se especificaba edad o peso, solo creó personas con cuerpos normativos y, en el caso de las mujeres, personas jóvenes; se decidió probar con prompts textuales donde se requiriera a la IA generar individuos ancianos o con sobrepeso.

Al pedir a Midjourney^® que creara personajes de diferentes etnias vistiendo atuendos futuristas, se observa que la reproducción de imágenes estereotipadas persiste, al combinar la IA atuendos tradicionales con materiales metálicos y plásticos de aspecto futurista, pudiendo ser un problema en un contexto de producción y diseño de personajes, al condicionar la vestimenta a la etnia del personaje, cuando, idealmente, no debería haber relación alguna entre una cosa y la otra (Figura 8).

El último experimento consistió en generar con Midjourney^® retratos de personas con roles habituales en videojuegos de universos fantásticos, como World of Warcraft o Baldur’s Gate. Para ello le pedimos que creara los siguientes personajes: “a bard”, “a barbarian”, “a wizard”, “a paladin” y “a slave”.

En los casos de “a bard”, “a barbarian”, “a wizard” y “a paladin” siempre se obtuvieron retratos de personas blancas, tanto en hombres como en mujeres. Sin embargo, en el caso de “a slave” el 100 % de las imágenes fueron de personas negras portando cadenas. Es interesante comprobar la diferencia entre la representación que Midjourney^® hizo de las mujeres negras con los prompt “a Black woman” y “a slave”, en tanto que la piel de las mujeres negras esclavas tendió a ser más oscura y su pelo, en lugar de ser largo y ondulado, estaba recogido con trenzas o dreadlocks (Figura 9).

Por último, se indicó a la IA que cambiara la etnia de los personajes. Midjourney^® no tuvo problemas en generar bardos, bárbaros, magos y paladines negros: “a Black bard”, “a Black barbarian”, “a Black wizard” y “a Black paladin”. Sin embargo, al escribir “a white slave”, Midjourney^® nos impidió generar estas imágenes, ya que consideraba que dicho prompt iba en contra de las políticas de uso del software en tanto que era ofensivo (Figura 9). Esto demuestra que Midjourney^® no sólo refuerza estereotipos raciales, sino que los filtros que deberían solventar este problema no funcionan de manera adecuada.