¿Hacia la singularidad o hacia un nuevo invierno en la IA? Una entrevista en Radio 3 (II)

P. Pedro: Qué interesante porque estáis mostrando que en muchas ocasiones la IA es discriminatoria, es sexista, es racista, pero me imagino que la pregunta que tenemos que hacernos es si esos sesgos son una limitación de la tecnología o, en cambio, un reflejo de los prejuicios y sesgos humanos que están presentes también en nuestras manifestaciones en redes sociales y en otros ámbitos. ¿Cómo interpretáis esto?

R. Karlos: A diferencia de mucho de lo que se oye, se trata de una combinación de las dos. En el laboratorio hemos discutido mucho sobre este clásico actual de la dicotomía entre solucionismo y apocalipsis. A todos nos gustaría que el sesgo se debiera a un problema tecnológico y que, resolviendo el problema tecnológico, resolvieramos un problema que es profundamente natural, como es el de nuestros sesgos. Lo que ocurre es que cuando entrenamos una red neuronal hay una serie de momentos muy concretos dentro del ciclo de vida de la IA. Uno de ellos es la localización del conjunto de datos con el que entrenamos esa red neuronal. Y a partir de ahí, coges esos datos, los pasas a la red neuronal, eso genera un modelo y luego infieres el modelo. En cada uno de esos momentos intervienen las personas. En cada una de esas partes pueden darse esos sesgos, porque son momentos donde el humano introduce su propia realidad.

Existe la creencia de que, si arreglásemos el dataset, porque se consigue que un grupo de personas más o menos diverso seleccione esas fotos con las que luego se va a entrenar la red neuronal, se corregiría el problema. Pero la realidad es que hay más intereses en juego. A veces el tema de sesgos resulta un recurso fácil: “esto es un problema de sesgos”. No, no, es un problema de sesgos y de intereses comerciales. Amazon Rekognition, por ejemplo, es una herramienta pero a su vez es un producto con el cuál contratas una IA. Si me decido a contratarlo, en ningún momento voy a tener la lista completa de todas las etiquetas de esa IA. Y que no esté disponible puede ser por muchos motivos, pero uno de ellos es porque no interesa al propio Amazon.

Entonces, ¿hay sesgos? ¡Claro que hay sesgos! y hay que corregirlos. Y la academia y mucha gente interesada en que esto funcione bien está esforzándose para ello. Pero a su vez, luego tenemos intereses empresariales, intereses comerciales e intereses políticos. Toda interfaz es política, no nos podemos olvidar de eso.

Parece que nos gustara vivir en ese idílico mundo de Gattaca, la película, donde todo es aséptico y perfecto. Pero luego, debajo, en los fondos, siempre hay una realidad que es más compleja, más abstracta. La simplificación nos gustaría, pero la realidad de esta situación es que, a poco que rascamos, no es nada simple. Porque hemos metido muchas capas de abstracción. Y quizá esa abstracción es necesaria en el momento actual de nuestra sociedad, pero al menos necesitamos el margen de poder mirar dentro y ponerlo en duda.

P. Pedro: Muy interesante lo que comentas, porque nos tiene que inducir cierta precaución en la interpretación de las noticias que podamos encontrar en los medios. Lo vemos cada vez que Elon Musk convoca una rueda de prensa para comunicar un nuevo desarrollo científico. En realidad no se está dirigiendo a la comunidad científica, se está dirigiendo principalmente a sus accionistas o inversores.

Ahora, si os parece, rescatamos un experimento reciente que habéis citado en vuestros trabajos, en el que, testando varios sistemas de reconocimiento de objetos como Google Cloud Vision, Amazon Rekognition o IBM Watson, encontraron que la precisión era un 15% más alta cuando analizaban fotografías de objetos cotidianos (como un jabón de manos, por ejemplo) tomadas en EEUU, que cuando lo hacían con las tomadas en lugares como Somalia o Burkina Faso. ¿Por qué razón aparecen estas anomalías?

R. Ujué: Como decía Karlos, los problemas o sesgos pueden aparecer en todo el ciclo de vida de la IA porque hay humanos interviniendo en todo ese proceso. En este caso, parece un sesgo en la recolección de la muestra de datos. A la hora de decidir qué fotografías van a representar a esos objetos del mundo y van a servir para que la IA sea capaz de reconocerlos, se ha adoptado una visión parcial de cuáles son las realidades del mundo o sus culturas. Un jabón de manos en EEUU, de tipo dispensador, tiene una forma bastante diferente al de una pastilla jabón en Somalia, por ejemplo. Pastilla de jabón que, en este estudio, era confundida por la IA con comida.

No se trata de un problema nuevo que haya surgido con la IA. El sesgo en recolección de datos en la investigación de las ciencias del comportamiento ya ha sido denunciado muchas veces. Es la tendencia a utilizar lo que se llaman muestras WEIRD, acrónimo de White, Educated, Industrialized, Rich, y Democratic. Una muestra que no es representativa del mundo entero, sino de una parte muy concreta de la población, puede hacer que los resultados de ciertas investigaciones no sean aplicables a todo el mundo. Así, hay ciertos fenómenos comportamentales que creíamos universales, pero que realmente no se replican en otras culturas porque la muestra no era representativa de estas.

Los sesgos, como el de la recolección de la muestra mencionado, pueden ser introducidos en el proceso de forma totalmente no intencional. Pero, como apuntaba Karlos, debemos estar alerta porque otros tantos sí podrían añadirse intencionalmente. Decidir cómo contempla el mundo una IA podría ser otra forma de hacer política.

P. Pedro: Cierto, a veces se dice en Psicología que los estudios científicos están sesgados a población occidental, de clase media, universitaria…

En vuestras investigaciones, ¿os habéis encontrado con facilidades de acceso a las tripas de los sistemas artificiales o, en cambio, las empresas, y habéis citado varias de ellas que son conocidas por todos, suelen recurrir a la opacidad o al secretismo industrial?

R. Karlos: Sí que vemos que hay un interés bastante profundo, sobre todo en el mundo académico, de intentar resolver esos problemas complejos como es el de la caja negra. Y ahí hay mucha investigación y cuesta llegar a entender los avances a nivel teórico que se están produciendo alrededor de esta nueva área. También es cierto que la relación de partes está muy clara. En el mundo más tecnológico, el de las piezas de software que luego puedes utilizar, encontramos una información increíble y muy acotable. Puedes realmente jugar, como hemos hecho nosotros, a diferentes niveles, desde capas muy bajas a capas muy altas. Sin embargo, existe a su vez una industria con intereses particulares que juega en otra liga. Lo comentaba antes. Si estoy realizando un entrenamiento y quiero, como resultado, darte una clasificación, debo tener presente que estoy utilizando sistemas de reconocimiento estadístico de patrones. Sistemas que lo que te van a devolver es una predicción, en formato numérico indicando cómo de precisa es esa predicción. Si se es opaco con ese dato, tenemos un problema. Necesitamos, como decimos nosotros, trabajar en la responsabilidad de la predicción.

Y a su vez, como explicamos en otro de nuestros artículos, sería deseable poder generar una narrativa de convivencia con las IAs .Nosotros disfrutamos mucho trabajando con elementos tecnológicos como estos porque, además, son parte de nuestra realidad profesional. ¡En Biko nos dedicamos a diseñar y desarrollar software! Y queremos poder convivir con ese software, con esa tecnología.

No resulta un paso adecuado hacia la convivencia la aceptación de elementos opacos, que a veces, pueden resultar intencionales. No publicar la lista de clasificación o etiquetado de una IA de reconocimiento de imágenes, por ejemplo, resulta determinante para esa convivencia, para la credibilidad y comprensión de los resultados devueltos por esa IA. Porque si la lista es de 2.000 categorías, el marco de concepción es muy pequeñito. Muy diferente a si cuenta con 2 millones de etiquetas. Y aquí sí que hay intención. Tener que rebuscar para conocer el detalle en procesos abstractos como estos no resulta sencillo. A nosotros nos ha obligado a explorar líneas bastante desconocidas y en algunos casos nos ha costado entrar, especialmente cuando está la empresa de por medio.

P. Pedro: Y, ¿creéis que esta imagen mágica y quizá idílica que se nos quiere vender sobre la IA favorece al sector y lo impulsa o, en cambio, consideráis que podría llevar al desengaño o al desencanto o, como muchas veces se ha dicho en los círculos de la IA, a un nuevo invierno de la inteligencia artificial?

R. Ujué: Nosotros creemos que nos perjudica como sector, la verdad. Por un lado por lo que comentas, por el desencanto. No creemos que vaya a llegar un invierno, pero sí quizás un otoño. Cada vez vemos más avances de la IA que son completamente aplicables y eso no va a parar. Pero todo este halo de magia que el sector se gasta, puede conllevar mucho desencanto y violación de expectativas. Se prometen resultados que no se van a poder cumplir.

Por otro lado, nos preocupa que, además, se desvíe la atención de la discusión hacia escenarios que ahora no resultan siquiera asequibles, como la rebelión de los robots o la ética de la conducción autónoma completa cuando esta tardará muchísimo tiempo en convertirse en una realidad. Generamos debates sobre situaciones que no conocemos si se producirán ni cuándo lo harán y, sin embargo, obviamos conversaciones y problemas que, aunque son más mundanos, resultan mucho más reales.

Cada vez la IA toma más decisiones automatizadas en temas relevantes como la justicia, la salud o la educación. Pongamos el ejemplo del famosísimo software COMPAS, que determina la libertad condicional de presos (y en algunas ocasiones su condena) en EE. UU. en función del índice de reincidencia estimada que devuelve un algoritmo. Se trata de decisiones que afectan a personas, que en ocasiones se toman de forma automatizada y a veces de forma sesgada por algoritmos que se encuentran ya implantados en nuestros sistemas sociales. Este en concreto ha sido denunciado en muchas ocasiones por sesgo racista, pero se sigue utilizando. Y en lugar de arrancar la conversación sobre estos temas, la desviamos hacia esa magia que se nos propone desde el sector y que no nos va a ayudar nada.

P. Pedro: No me resisto a pediros que hagáis un ejercicio de predicción. ¿Creéis que podemos llegar en un tiempo razonable a la IA genuina, general? ¿Creéis que la singularidad está cerca?

R. Karlos: Estamos más cerca de que una de estas IA nos pida que quiere ser persona por un proceso automático de los suyos, que por cualquier singularidad. Imagino una escena de esa posible singularidad en la que un robot se encuentra poniéndose las zapatillas mientras su dueño le insta a darse prisa porque tiene que ir a la fábrica a hacer sus cosas automáticas, y sufre el pobre robot atascado en el proceso complejo de realizar tareas cotidianas como la de atarse las zapatillas.

Ahora lo hemos visto con el GPT-3, que tanto ha sonado. Este sistema que genera texto de forma casi mágica. Se crea con un propósito concreto, se entrena a partir de él, y luego un montón de gente busca en él la originalidad, mostrar lo increíble de su desempeño. Pero se trata de una magia buscada motivada por las ganas que tenemos de que la singularidad se produzca.

Pero, siguiendo con lo que decía Ujué, se persigue un resultado solucionista cuando su desempeño a veces dista mucho de la singularidad. Por ejemplo, en algunos lugares de EE. UU., la policía utilizaba cámaras de reconocimiento que ha terminado por eliminar porque el resultado que devolvían era muy malo. O lo que ha sucedido recientemente en Inglaterra con los resultados académicos: el desempeño de la IA ha sido tan pobre, tan profundamente pobre, que directamente tenemos que reconocer su mal funcionamiento. Ahí es donde deberíamos poner nuestra mirada, en la IA que usamos ahora.

Como ciberpunk de espíritu que soy, necesito mirar al futuro e imaginarme distintas utopías posibles. Pero eso no implica que estemos tan cerca como le gustaría a Elon Musk de esta inteligencia genuina. Lo dudo.

R. Ujué: A mi me gustaría, como dice Karlos, que empezáramos a imaginar esos futuros utópicos. Tendemos a caer en las distopías y así corremos el riesgo de que las pesadillas que imaginamos se conviertan en profecías autocumplidas, y terminemos haciendo realidad aquellos futuros distópicos que imaginamos. Mi apuesta va más por imaginar futuros en los que podamos convivir con la tecnología. No me gusta mucho la idea de singularidad, pero como no creo que llegue a verla, no estoy muy preocupada.

P. Pedro: Jajaja, esa última frase es muy reveladora.

R. Karlos: Tengo un amigo que dice que si de repente emergiera una singularidad, lo primero que haría sería construir un cohete para escapar de este planeta.

P. Pedro: A mi tampoco me preocupa mucho porque, como suelo decir, si surge una inteligencia superior lo único que habría que hacer sería desenchufarla.

Muchísimas gracias por vuestra participación en este programa. Me ha encantado. Creo que va a ser una entrevista muy útil para los oyentes, puesto que vuestra percepción crítica, de análisis profundo de la situación actual, resulta muy necesaria en estos tiempos de tanto sensacionalismo. Muchas gracias y confío en que nos podamos ver en el futuro más programas de radio analizando los desarrollos de la IA y prediciendo el futuro.

R. Karlos y Ujué: Muchas gracias a ti.

Puedes escuchar la entrevista en formato audio aquí en canal UNED y en YouTube.

Si quieres conocer más sobre nuestro experimento de sesgos, el estudio al completo se encuentra publicado con el título «El automágico traje del emperador».