Resulta a la vez cómico y trágico, como podría haber señalado Borges, que tanto dinero y atención se concentren en algo tan insignificante, algo tan trivial comparado con la mente humana, que a fuerza de lenguaje, en palabras de Wilhelm von Humboldt, puede hacer un “uso infinito de medios finitos”, creando ideas y teorías de alcance universal." Noam Chomsky
En un artículo de opinión publicado en el New York Times, el filósofo y lingüista Noam Chomsky arremete con dureza contra el chatbot ChatGPT al que acusa de difundir en la esfera pública un mal uso del lenguaje y del pensamiento, susceptible de dar lugar a lo que Hannah Arendt denominó "la banalidad del mal". Creo que el asunto merece ser examinado pues se trata de una cuestión esencial planteada por Noam Chomsky y publicada en colaboración con Ian Roberts, lingüista de la Universidad de Cambridge, y Jeffrey Watumull, filósofo especializado en inteligencia artificial. Una cuestión que afecta a la esencia del lenguaje, el pensamiento y la ética. En la confrontación con la inteligencia artificial, argumentan, es la propia naturaleza de la inteligencia humana la que emerge y la que debe preservarse: si los humanos somos capaces de generar pensamiento y lenguaje, es porque tenemos una relación íntima y fundamental, en nuestra propia creatividad, con los límites, con el sentido de lo imposible y de la ley. La "falsa promesa" de la inteligencia artificial, como se titula el artículo, es que sería posible lograr el mismo rendimiento sin la confrontación con los límites y las reglas que es la esencia de la experiencia humana. Intentemos seguir esta demostración tan filosófica.
Es comprensible que Chomsky se sintiera impulsado a investigar los nuevos robots conversacionales como ChatGPT, Bard y Sydney. Como fundador de la idea de la gramática generativa, el filósofo sostiene que el lenguaje confiere al ser humano una capacidad sin parangón, un poder interior para generar y comprender, utilizando un número finito de reglas, un número infinito de proposiciones que expresen sus pensamientos. Ahora bien, cuando ChatGPT consigue generar respuestas sensatas a nuestras preguntas basándose en los millones de enunciados que el sistema ha aprendido automáticamente, ¿quién puede decir que el robot no está hablando y pensando a su vez, que no genera lenguaje y, por tanto, pensamiento? La respuesta de Chomsky es profunda y sutil. Empieza, como suele hacer, con un pequeño ejemplo gramatical: "John es demasiado testarudo para hablar con él". Cualquier inteligencia media comprenderá inmediatamente el significado de esta frase basándose en su conocimiento de la lengua y de la situación en la que se pronuncia. Significa: "John es demasiado testarudo para razonar con él". Donde John, el sujeto inicial, cambia implícitamente a un complemento de objeto, y donde "hablar" significa "razonar" y no "hablar". La IA entenderá: "Juan es demasiado terco para hablar con nadie". Como no tiene acceso a la regla ni a la situación, intenta predecir el significado correcto de un enunciado basándose en el mayor número de ocurrencias analógicas. Pero del mismo modo que "Juan se comió una manzana" suele equivaler a "Juan se comió una manzana", es más probable que "Juan es demasiado terco para hablar" signifique "Juan es demasiado terco para hablar con nadie" que "para razonar con él".
A la vista de las prestaciones de los nuevos programas de traducción como DeepL (que tuve que utilizar para asegurarme de que entendía correctamente el ejemplo de Chomsky), uno podría estar tentado de relativizar la confianza del filósofo en la inteligencia humana del lenguaje. Pero el razonamiento cobra más fuerza cuando se trata de la ley, ya sea científica o ética. Tomemos, por ejemplo, la afirmación "la manzana cae" o "la manzana caerá", formulada después de haber abierto la mano o planear hacerlo. Una IA es capaz de formular cada una de estas dos proposiciones. En cambio, será incapaz de generar el enunciado: "La manzana no habría caído sin la fuerza de la gravedad". Porque este enunciado es una explicación, es decir, una regla que delimita lo posible de lo imposible. Para Chomsky, ésta es la línea divisoria entre las dos inteligencias. A pesar de su fenomenal capacidad de aprendizaje y de cálculo, la inteligencia artificial se contenta con describir y/o predecir a partir de una cantidad potencialmente infinita de datos, mientras que la inteligencia humana es capaz, con una cantidad finita de datos, de explicar y regular, es decir, de delimitar lo posible y lo imposible. Nuestra inteligencia no se limita a definir lo que es o lo que podría ser, sino que trata de establecer lo que debe ser.
Este planteamiento tiene implicaciones éticas evidentes ya que la moralidad consiste en "limitar la creatividad, por lo demás ilimitada, de nuestras mentes mediante un conjunto de principios éticos que determinan lo que debe ser y lo que no debe ser (y, por supuesto, someter estos mismos principios a una crítica creativa)". Por el contrario, como atestiguan las respuestas de ChatGPT a las preguntas éticas que se le plantean, y que se reducen a un repaso de las diversas posturas humanas, la IA delata una absoluta "indiferencia moral". Y Chomsky concluye: "ChatGPT exhibe algo parecido a la banalidad del mal: plagio, apatía, evasión [...] Este sistema ofrece una defensa del tipo 'sólo cumplo órdenes' culpando a sus creadores"( cercana a la justificación de Eishmann ante el Tribunal de Jerusalén). Para llegar al fondo de la cuestión, fui a preguntar a ChatGPT si conocía la idea de la banalidad del mal y si le preocupaba. Esto es lo que aproximadamente respondió: "Es cierto que soy una herramienta creada por los humanos y, por tanto, puedo reflejar las limitaciones y los prejuicios de mis creadores y de los datos con los que estoy entrenado". Una inteligencia servil e irreflexiva es, en efecto, una buena definición de la banalidad del mal. ¿Y qué hay de la inteligencia artificial?... Chomsky y sus coautores tienen razón en que la IA no se parece en nada a la mente humana, que tardó millones de años en evolucionar utilizando los recursos de toda la tierra. La IA se ha desarrollado durante unas pocas décadas utilizando una fracción minúscula de las riquezas de la tierra.
El cerebro humano es asombrosamente lento, impreciso y olvidadizo. Es incapaz de realizar operaciones aritméticas de alta precisión. Las computadoras son millones de veces más rápidas, con una memoria esencialmente infalible, una atención perfecta y una paciencia ilimitada. No obstante,las computadoras son el producto de la mente humana, lo cual es verdaderamente maravilloso.
Contrariamente a las afirmaciones de algunos autores, no hay duda de que las máquinas eclipsarán y reemplazarán a los humanos en las ciencias, las matemáticas y la ingeniería en este siglo. Pero la IA del futuro explotará los algoritmos bayesianos (las redes bayesianas modelan un fenómeno mediante un conjunto de variables y las relaciones de dependencia entre ellas. Dado este modelo, se puede hacer inferencia bayesiana; es decir, estimar la probabilidad posterior de las variables no conocidas, en base a las variables conocidas.), en lugar del viejo y aburrido aprendizaje profundo como ChatGPT. (Los métodos bayesianos utilizan la cantidad mínima de datos de entrenamiento, prometen una precisión óptima y cuantifican la incertidumbre, capacidades de las que carece el aprendizaje profundo).
Es difícil imaginar que las computadoras también eclipsen a los humanos en términos de maldad, pero todo es posible.
Jorge Luis Borges escribió una vez que vivir en una época de grandes peligros y promesas es experimentar tanto la tragedia como la comedia, con “la inminencia de una revelación” en la comprensión de nosotros mismos y del mundo. Hoy, nuestros avances supuestamente revolucionarios en inteligencia artificial son motivo de preocupación y optimismo. Optimismo porque la inteligencia es el medio por el cual resolvemos los problemas. Preocupación porque tememos que la variedad de IA más popular y de moda, el aprendizaje automático, degrade nuestra ciencia y rebaje nuestra ética al incorporar a nuestra tecnología una concepción fundamentalmente defectuosa del lenguaje y el conocimiento.
ChatGPT de OpenAI, Bard de Google y Sydney de Microsoft son maravillas del aprendizaje automático. En términos generales, toman grandes cantidades de datos, buscan patrones en ellos y se vuelven cada vez más competentes en la generación de resultados estadísticamente probables, como el lenguaje y el pensamiento aparentemente humanos. Estos programas han sido aclamados como los primeros destellos en el horizonte de la inteligencia artificial general, ese momento largamente profetizado en el que las mentes mecánicas superan a los cerebros humanos no solo cuantitativamente en términos de velocidad de procesamiento y tamaño de la memoria, sino también cualitativamente en términos de perspicacia intelectual y creatividad artística. y cualquier otra facultad distintivamente humana.
Ese día puede amanecer, pero su hora, contrariamente a lo que se lee en titulares hiperbólicos y se expone con interpretaciones imprudentes, aun no ha llegado.
De lo que no cabe duda alguna es que ha comenzado una nueva era. Lo único que queda por aclarar es para qué género representa un progreso no solo aparente. Desde luego, no para el de los hombres socráticos. ¿O no es así?
Let's be careful out there
He aquí el artículo completo del Times.
Jorge Luis Borges escribió una vez que vivir en una época de grandes peligros y promesas es experimentar tanto la tragedia como la comedia, con “la inminencia de una revelación“ para entendernos a nosotros mismos y al mundo. En la actualidad, los avances supuestamente revolucionarios de la inteligencia artificial son motivo tanto de preocupación como de optimismo. Optimismo porque la inteligencia es el medio con el que resolvemos los problemas. Preocupación porque tememos que la cepa de la inteligencia artificial más popular y de moda (el aprendizaje automático) degrade nuestra ciencia y envilezca nuestra ética al incorporar a nuestra tecnología una concepción fundamentalmente errónea del lenguaje y el conocimiento.
ChatGPT de OpenAI, Bard de Google y Sydney de Microsoft son maravillas del aprendizaje automático. A grandes rasgos, toman enormes cantidades de datos, buscan patrones en ellos y se vuelven cada vez más competentes a la hora de generar resultados estadísticamente probables, como un lenguaje y un pensamiento de apariencia humana. Estos programas han sido elogiados por ser los primeros destellos en el horizonte de la inteligencia artificial general, ese momento tan profetizado en el que las mentes mecánicas superan a los cerebros humanos no solo cuantitativamente en términos de velocidad de procesamiento y tamaño de memoria, sino también cualitativamente en términos de perspicacia intelectual, creatividad artística y cualquier otra facultad distintiva del ser humano.
Ese día llegará, pero aún no ve la luz, al contrario de lo que se lee en titulares hiperbólicos y se calcula mediante inversiones insensatas. La revelación borgesiana de la comprensión no se ha producido ni se producirá —y, en nuestra opinión, no puede producirse— si los programas de aprendizaje automático como ChatGPT siguen dominando el campo de la inteligencia artificial. Por muy útiles que puedan ser estos programas en algunos ámbitos concretos (pueden ser útiles en la programación informática, por ejemplo, o para sugerir rimas para versos ligeros), sabemos por la ciencia de la lingüística y la filosofía del conocimiento que difieren en gran medida de la manera en que los seres humanos razonamos y utilizamos el lenguaje. Estas diferencias imponen limitaciones significativas a lo que estos programas pueden hacer, codificándolos con defectos imposibles de erradicarse.
Resulta a la vez cómico y trágico, como podría haber señalado Borges, que tanto dinero y atención se concentren en algo tan insignificante, algo tan trivial comparado con la mente humana, que a fuerza de lenguaje, en palabras de Wilhelm von Humboldt, puede hacer un “uso infinito de medios finitos”, creando ideas y teorías de alcance universal.
A diferencia de ChatGPT y sus similares, la mente humana no es una pesada máquina estadística de comparación de patrones, que se atiborra de cientos de terabytes de datos y extrapola la contestación más probable en una conversación o la respuesta más probable a una pregunta científica. Por el contrario, la mente humana es un sistema sorprendentemente eficiente e incluso elegante que funciona con pequeñas cantidades de información; no busca inferir correlaciones brutas entre puntos de datos, sino crear explicaciones.
Por ejemplo, un niño pequeño que aprende un idioma está desarrollando (de manera inconsciente, automática y rápida a partir de datos minúsculos) una gramática, un sistema increíblemente sofisticado de principios y parámetros lógicos. Esta gramática puede entenderse como una expresión del “sistema operativo” innato, instalado en los genes, que dota a los seres humanos de la capacidad de generar frases complejas y largos hilos de pensamiento. Cuando los lingüistas intentan desarrollar una teoría de por qué una lengua determinada funciona como lo hace (“¿Por qué se consideran gramaticales estas frases y no aquellas?”), están construyendo consciente y laboriosamente una versión explícita de la gramática que el niño construye por instinto y con una exposición mínima a la información. El sistema operativo del niño es completamente distinto al de un programa de aprendizaje automático.
De hecho, estos programas están estancados en una fase prehumana o no humana de la evolución cognitiva. Su defecto más profundo es la ausencia de la capacidad más crítica de cualquier inteligencia: decir no solo lo que es el caso, lo que fue el caso y lo que será el caso —eso es descripción y predicción—, sino además lo que no es el caso y lo que podría y no podría ser el caso. Esos son los ingredientes de la explicación, la marca de la verdadera inteligencia.
A continuación, un ejemplo. Supongamos que sostienes una manzana en la mano. Ahora deja caer la manzana. Observas el resultado y dices: “La manzana se cae”. Esa es una descripción. Una predicción podría ser la frase: “La manzana se caerá si abro la mano”. Ambas son valiosas y ambas pueden ser correctas. Pero una explicación es algo más: incluye no solo descripciones y predicciones, sino también conjeturas contrafactuales como “cualquier objeto de este tipo caería”, más la cláusula adicional “debido a la fuerza de la gravedad” o “debido a la curvatura del espacio-tiempo” o lo que sea. Eso es una explicación causal: “La manzana no habría caído de no ser por la fuerza de la gravedad”. Eso es pensar.
El talón de Aquiles del aprendizaje automático son la descripción y la predicción; no plantea ningún mecanismo causal ni leyes físicas. Por supuesto, cualquier explicación de tipo humano no es necesariamente correcta; somos falibles. Pero esto es parte de lo que significa pensar: para tener razón, debe ser posible equivocarse. La inteligencia no solo consiste en hacer conjeturas creativas, sino también críticas creativas. El pensamiento al estilo humano se basa en explicaciones posibles y corrección de errores, un proceso que limita poco a poco las posibilidades que pueden considerarse racionalmente (como le dijo Sherlock Holmes al Dr. Watson: “Cuando hayas eliminado lo imposible, lo que quede, por improbable que sea, debe ser la verdad”).
Pero ChatGPT y programas similares, por diseño, son ilimitados en lo que pueden “aprender” (es decir, memorizar); son incapaces de distinguir lo posible de lo imposible. A diferencia de los humanos, por ejemplo, que estamos dotados de una gramática universal que limita los idiomas que podemos aprender a aquellos con un cierto tipo de elegancia casi matemática, estos programas aprenden idiomas humanamente posibles y humanamente imposibles con la misma facilidad. Mientras que los humanos estamos limitados en el tipo de explicaciones que podemos conjeturar a nivel racional, los sistemas de aprendizaje automático pueden aprender tanto que la Tierra es plana como que es redonda. Se limitan a negociar con probabilidades que cambian con el tiempo.
Por esta razón, las predicciones de los sistemas de aprendizaje automático siempre serán superficiales y dudosas. Como estos programas no pueden explicar las reglas de la sintaxis de la lengua inglesa, por ejemplo, pueden predecir, erróneamente, que la frase “John is too stubborn to talk to” significa que Juan es tan terco que no habla con nadie (en lugar de que es demasiado terco como para razonar con él). ¿Por qué un programa de aprendizaje automático predeciría algo tan extraño? Porque podría establecer una analogía en el patrón que infirió a partir de frases como “John ate an apple” (Juan se comió una manzana) y “John ate” (Juan comió), en el que esta última significa que Juan comió algo. El programa bien podría predecir que, como la frase “John is too stubborn to talk to Bill” (Juan es demasiado terco para hablar con Bill) es similar a “John ate an apple” (Juan se comió una manzana), “John is too stubborn to talk to” (Juan es demasiado terco para hablar) sería similar a “John ate” (Juan comió). Las explicaciones correctas de lenguaje son complicadas y no pueden aprenderse simplemente macerándolas en macrodatos.
Sin ninguna lógica, algunos entusiastas del aprendizaje automático parecen estar orgullosos de que sus creaciones puedan generar predicciones “científicas” correctas (digamos, sobre el movimiento de cuerpos físicos) sin recurrir a explicaciones (que impliquen, por ejemplo, las leyes del movimiento y la gravitación universal de Newton). Pero este tipo de predicción, incluso cuando tiene éxito, es pseudociencia. Aunque es cierto que los científicos buscan teorías que tengan un alto grado de corroboración empírica, como señaló el filósofo Karl Popper: “No buscamos teorías altamente probables, sino explicaciones; es decir, teorías poderosas y altamente improbables”.
La teoría de que las manzanas caen al suelo porque ése es su lugar natural (el punto de vista de Aristóteles) es posible, pero solo invita a plantearse más preguntas (¿por qué el suelo es su lugar natural?) La teoría de que las manzanas caen a la tierra porque la masa curva el espacio-tiempo (opinión de Einstein) es altamente improbable, pero en realidad te dice por qué caen. La verdadera inteligencia se demuestra en la capacidad de pensar y expresar cosas improbables pero lúcidas.
La verdadera inteligencia también es capaz de pensar moralmente. Esto significa ceñir la creatividad de nuestras mentes, que de otro modo sería ilimitada, a un conjunto de principios éticos que determinen lo que debe y no debe ser (y, por supuesto, someter esos mismos principios a la crítica creativa). Para ser útil, ChatGPT debe ser capaz de generar resultados novedosos; para ser aceptable para la mayoría de sus usuarios, debe mantenerse alejado de contenidos moralmente censurables. Pero los programadores de ChatGPT y otras maravillas del aprendizaje automático batallan, y seguirán haciéndolo, para lograr este tipo de equilibrio.
En 2016, por ejemplo, el chatbot Tay de Microsoft (precursor de ChatGPT) inundó el internet de contenidos misóginos y racistas, tras haber sido contaminado por troles cibernéticos que lo llenaron de datos de adiestramiento ofensivos. ¿Cómo resolver el problema en el futuro? Al carecer de capacidad para razonar a partir de principios morales, los programadores de ChatGPT restringieron de manera burda la posibilidad de aportar algo novedoso a los debates controvertidos; es decir, importantes. Se sacrificó la creatividad por una especie de amoralidad.
Consideremos el siguiente intercambio que uno de nosotros (Watumull) mantuvo hace poco con ChatGPT sobre si sería ético transformar Marte para que pudiera albergar vida humana:
Nótese, a pesar de todo el pensamiento y lenguaje en apariencia sofisticados, la indiferencia moral nacida de la falta de inteligencia. Aquí, ChatGPT exhibe algo parecido a la banalidad del mal: plagio, apatía y obviedad. Resume los argumentos estándar de la literatura mediante una especie de superautocompletado, se niega a adoptar una postura sobre lo que sea, alega no solo ignorancia sino falta de inteligencia y, en última instancia, se defiende con un “solo cumplía órdenes”, trasladando la responsabilidad a sus creadores.
En resumen, ChatGPT y sus afines son constitutivamente incapaces de equilibrar la creatividad con la restricción. O bien generan de más (produciendo tanto verdades como falsedades, respaldando decisiones éticas y no éticas por igual) o generan de menos (mostrando falta de compromiso con cualquier decisión e indiferencia ante las consecuencias). Dada la amoralidad, la falsa ciencia y la incompetencia lingüística de estos sistemas, solo podemos reír o llorar ante su popularidad.
Noam Chomsky for The New York Times.
No hay comentarios:
Publicar un comentario