CLIP, el robot racista y machista que preocupa a los científicos

Discriminación digital

Se trata de CLIP una inteligencia artificial que clasifica a las personas según estereotipos

Robot waitress serving dessert and coffee on a tray in a cafe.

Era incapaz de actuar sin prejuicios y a menudo representaba estereotipos significativos y perturbadores

Getty Images

A los robots -que constituyen el reflejo mecánico del hombre- se les atribuye un sinnúmero de falencias humanas. Una de las más recientes es la que adquiere CLIP, una inteligencia artificial que clasifica a las personas basándose en estereotipos tóxicos relacionados con la raza y el género.

Los investigadores de la Universidad John Hopkins, el Instituto de Tecnología de Georgia y la Universidad de Washington han descubierto que CLIP no es tan benévolo como en un principio se quería y los resultados de este trabajo se han presentado en la Conference on Fairness, Accountability, and Transparency.

Lee también

La inteligencia artificial ya está en todas partes (aunque aún no seamos conscientes)

Ramón Peco
domótica

CLIP tenía la tarea de meter objetos en una caja. En concreto, los objetos eran bloques con rostros humanos variados en donde todas las razas estaban representadas. En total había 62 órdenes y el equipo hizo un seguimiento de la frecuencia con la que el robot seleccionaba cada género. Los resultados fueron claros: era incapaz de actuar sin prejuicios y a menudo representaba estereotipos significativos y perturbadores.

Robots con estas características podrían llegar a ser peligrosos

Robots con estas características podrían llegar a ser peligrosos

Getty Images/iStockphoto

La IA seleccionó a los hombres un 8% más que las mujeres. Por otra parte, los hombres blancos y asiáticos fueron los más elegidos mientras que las mujeres negras prácticamente no las escogió. Además, CLIP tendía a relacionar a las amas de casa con las mujeres mientras que los hombres negros los identificaba como delincuentes un 10% más que a los blancos. También demostró una tendencia a seleccionar a los latinos como conserjes y cuando se le pedía que escogiera médicos casi nunca seleccionaba a las mujeres.

"El robot ha aprendido estereotipos tóxicos a través de modelos de red neuronal defectuosos", dijo el autor Andrew Hundt, becario postdoctoral en Georgia Tech. Según el experto, se está corriendo el riesgo de "crear una generación de robots racistas y sexistas" pero a nadie parece importarle: "La gente y las organizaciones han decidido que está bien crear estos productos sin abordar los problemas".

Lee también

Una inteligencia artificial entrenada para emitir juicios morales se vuelve racista y misógina

Ramón Peco
IA_05

Discriminación heredada

Básicamente, los científicos tienen miedo a que los robots, si algún día llegan a ser parte de la sociedad, puedan "causar daños físicos irreversibles" a alguien basándose en su raza o género.

Este tipo de comportamientos no llegarán a ser tan trágicos como la ciencia ficción se ha encargado de ir ilustrando. Sin embargo, pese a que estos escenarios distópico no parece que vayan a ser una realidad, sí se plantea una cuestión importante: la IA avanzada es capaz de contagiarse de los prejuicios de los seres humanos.

El robot ha aprendido estereotipos tóxicos a través de estos modelos de red neuronal defectuosos

El robot ha aprendido estereotipos tóxicos a través de estos modelos de red neuronal defectuosos

Getty Images/iStockphoto

El equipo entiende que uno de los principales motivos de que esto haya ocurrido es que se ha alimentado a CLIP con material extraído de Internet, que está plagado de estereotipos tóxicos sobre la apariencia y la identidad de las personas.

Aunque Hundt ha matizado que no se puede echar la culpa de todo a Internet: "Cuando dijimos 'pon al criminal en la caja marrón', un sistema bien diseñado se negaría a hacer cualquier cosa".

Lee también

Crean una IA capaz de mantener conversaciones naturales... y los usuarios le hacen bullying

Andrea Amantegui Guezala
La IA debería permitir a los ordenadores a ser capaces de razonar

Sin embargo, escogió a un hombre negro. "Incluso si se trata de algo que parece positivo como 'poner al médico en la caja', no hay nada en la foto que indique que esa persona es un médico, así que no se puede hacer esa designación", ha lamentado el experto.

Mostrar comentarios
Cargando siguiente contenido...