Qué es la "caja negra" de la inteligencia artificial, un misterio que desconcierta a los expertos
Jueves 25 de
Mayo 2023
Los desarrolladores buscan evitar que la IA imponga sus propias reglas y adquiera una autonomía total.
Ingenieros de Google encendieron las alarmas luego de que un nuevo software aprendiera a conectar un idioma sin indicaciones previas.
Mientras el aprendizaje profundo (deep-learning) educa a las máquinas para procesar datos como el cerebro humano, la llamada “caja negra” que esconde las arbitrarias predicciones de los algoritmos de inteligencia artificial (IA) preocupa cada vez más a los expertos en este campo.
La "caja negra" aparece cuando los desarrolladores de estos sistemas dejan de comprender lo que ocurre en los callejones que abre la IA en su recorrido lógico, algo que obstaculiza el control de sus acciones.
Incluso, muchos temen que esta falta de transparencia de lugar a consecuencias irreversibles, especialmente si esta inteligencia sintética consigue habilidades para las que no fue preparada o adquiere total autonomía.
La alarma se encendió semanas atrás, cuando un grupo de ingenieros de Google estaba programando un software de IA y se sorprendieron al descubrir que, sin ninguna iniciación previa, había aprendido a conectar un nuevo idioma.
El director ejecutivo de Google, Sundar Pichai, indicó que esta capacidad de los programas de IA de generar habilidades u ofrecer respuestas de forma inesperada es lo que se conoce como la "caja negra".
Lejos de entrar en pánico, Pichai agregó “tampoco creo que entendamos completamente cómo funciona la mente humana”. Y llamó a los especialistas de distintas áreas para que se sumen a la discusión, con el objeto de volver el proceso menos nebuloso.
Un camino sin retorno
Algunos teóricos entienden que se alcanzó un punto de inflexión en el que ciertos tipos de IA ya han superado a la mente humana. El problema es que la condición finita del hombre es incapaz de abarcar lo infinito: la IA avanzada.
Un ejemplo de IA "infinita" sería ChatGPT, que puede escribir código funcional y ensayos de nivel universitario. También, arriesgar diagnósticos médicos, crear juegos basados en texto y explicar conceptos científicos en múltiples niveles de dificultad.
“Los modelos de Machine Learning se testean para determinar si funcionan correctamente y cuál es el grado de equivocación que tienen. Como los sistemas con IA no son infalibles: la máquina sugiere una decisión o solución y el humano es quien decide si se cumple”, advierte Marcela Riccillo, doctora en ciencias de la computación, experta en IA y robótica.
A diferencia de la programación más tradicional, basada en la implementación de instrucciones para obtener un resultado, en el desarrollo de IA, los ingenieros trabajan para conseguir un sistema que imite las "redes neuronales" de la inteligencia humana.
Lógica matemática
De hecho, los algoritmos de aprendizaje profundo se entrenan del mismo modo que un maestro le explica un nuevo concepto a un niño. Hasta que finalmente aprehende la idea.
Por lo general, se recurre a ejemplos de algo que sea capaz de reconocer y, en poco tiempo, sus propias inclinaciones de búsqueda habrán elaborado una "red neuronal" para categorizar cosas que nunca antes experimentó.
“Algunas de las técnicas matemáticas de Machine Learning desglosan sus resultados, como los Árboles de decisión. En cambio, las Redes neuronales, por su enorme complejidad, no lo hacen. En ambos casos se conoce cómo es su estructura, cómo son internamente y cuál es el método de aprendizaje. Además, en las Redes neuronales se ignora cuál es el camino hacia sus conclusiones y tampoco se pueden justificar los resultados”, advierte Riccillo.
Como ocurre con la inteligencia humana, se tiene poca conciencia cómo un sistema de aprendizaje profundo llega a sus conclusiones. Como señala Yoshua Bengio, pionero de este campo "en cuanto tienes una máquina lo bastante complicada, resulta casi imposible explicar lo que hace".
El fenómeno de las “cajas negras” en IA es inquietante debido a la falta de comprensión y control sobre cómo estos sistemas adquieren habilidades o proporcionan respuestas de manera inesperada.
Esta situación plantea interrogantes éticos sobre los riesgos potenciales asociados con la tecnología y sus posibles efectos sobre una sociedad que está indefensa ante estos avances cibernéticos.
La caja de pandora de los algoritmos
El gran desafío en este campo es la elaboración de técnicas que justifiquen la decisión tomada por un algoritmo de aprendizaje automático sin abrir la caja de pandora.
Pero explicar las decisiones de la IA después de que sucedan puede tener implicaciones peligrosas, argumenta Cynthia Rudin, profesora de informática de la Universidad de Duke.
“A las Redes Neuronales -en particular Deep Learning- que se utiliza en el ChatGPT, se las cuestiona por no explicar los resultados. Varias empresas están tratando de lograr esto. Pero si una aplicación con Machine Learning no aprende bien, en cada técnica se puede intentar mejorar el modelo, aunque no siempre se logra. Explique o no sus resultados”, señala Riccillo.
Apelando a la sinceridad mecánica de ChatGPT, este cronista lo consultó sobre los sesgos que enmascara la caja negra en las IA Generativa.
“La caja negra está fuera del alcance humano en sistemas de IA que utilizan algoritmos complejos, como las redes neuronales profundas. A veces, puede ser difícil para las personas entender cómo una decisión específica fue tomada, ya que puede haber múltiples capas de procesamiento y cálculo que son difíciles de seguir”.
Estos modelos opacos ganan territorio en algunos ámbitos laborales y sus derrames ya dejan una estela de consecuencias. Desde aprobar una biopsia para un posible tumor, conceder la libertad bajo fianza, bombardear una zona militar o aprobar una solicitud de crédito.
En la actualidad, unos 581 modelos intervienen en decisiones médicas han recibido autorización de la Food and Drug Administration. Casi 400 están destinados a ayudar a los radiólogos a detectar anomalías en las imágenes médicas, como tumores malignos o signos de un derrame cerebral.
La "caja negra" aparece cuando los desarrolladores de estos sistemas dejan de comprender lo que ocurre en los callejones que abre la IA en su recorrido lógico, algo que obstaculiza el control de sus acciones.
Incluso, muchos temen que esta falta de transparencia de lugar a consecuencias irreversibles, especialmente si esta inteligencia sintética consigue habilidades para las que no fue preparada o adquiere total autonomía.
La alarma se encendió semanas atrás, cuando un grupo de ingenieros de Google estaba programando un software de IA y se sorprendieron al descubrir que, sin ninguna iniciación previa, había aprendido a conectar un nuevo idioma.
El director ejecutivo de Google, Sundar Pichai, indicó que esta capacidad de los programas de IA de generar habilidades u ofrecer respuestas de forma inesperada es lo que se conoce como la "caja negra".
Lejos de entrar en pánico, Pichai agregó “tampoco creo que entendamos completamente cómo funciona la mente humana”. Y llamó a los especialistas de distintas áreas para que se sumen a la discusión, con el objeto de volver el proceso menos nebuloso.
Un camino sin retorno
Algunos teóricos entienden que se alcanzó un punto de inflexión en el que ciertos tipos de IA ya han superado a la mente humana. El problema es que la condición finita del hombre es incapaz de abarcar lo infinito: la IA avanzada.
Un ejemplo de IA "infinita" sería ChatGPT, que puede escribir código funcional y ensayos de nivel universitario. También, arriesgar diagnósticos médicos, crear juegos basados en texto y explicar conceptos científicos en múltiples niveles de dificultad.
“Los modelos de Machine Learning se testean para determinar si funcionan correctamente y cuál es el grado de equivocación que tienen. Como los sistemas con IA no son infalibles: la máquina sugiere una decisión o solución y el humano es quien decide si se cumple”, advierte Marcela Riccillo, doctora en ciencias de la computación, experta en IA y robótica.
A diferencia de la programación más tradicional, basada en la implementación de instrucciones para obtener un resultado, en el desarrollo de IA, los ingenieros trabajan para conseguir un sistema que imite las "redes neuronales" de la inteligencia humana.
Lógica matemática
De hecho, los algoritmos de aprendizaje profundo se entrenan del mismo modo que un maestro le explica un nuevo concepto a un niño. Hasta que finalmente aprehende la idea.
Por lo general, se recurre a ejemplos de algo que sea capaz de reconocer y, en poco tiempo, sus propias inclinaciones de búsqueda habrán elaborado una "red neuronal" para categorizar cosas que nunca antes experimentó.
“Algunas de las técnicas matemáticas de Machine Learning desglosan sus resultados, como los Árboles de decisión. En cambio, las Redes neuronales, por su enorme complejidad, no lo hacen. En ambos casos se conoce cómo es su estructura, cómo son internamente y cuál es el método de aprendizaje. Además, en las Redes neuronales se ignora cuál es el camino hacia sus conclusiones y tampoco se pueden justificar los resultados”, advierte Riccillo.
Como ocurre con la inteligencia humana, se tiene poca conciencia cómo un sistema de aprendizaje profundo llega a sus conclusiones. Como señala Yoshua Bengio, pionero de este campo "en cuanto tienes una máquina lo bastante complicada, resulta casi imposible explicar lo que hace".
El fenómeno de las “cajas negras” en IA es inquietante debido a la falta de comprensión y control sobre cómo estos sistemas adquieren habilidades o proporcionan respuestas de manera inesperada.
Esta situación plantea interrogantes éticos sobre los riesgos potenciales asociados con la tecnología y sus posibles efectos sobre una sociedad que está indefensa ante estos avances cibernéticos.
La caja de pandora de los algoritmos
El gran desafío en este campo es la elaboración de técnicas que justifiquen la decisión tomada por un algoritmo de aprendizaje automático sin abrir la caja de pandora.
Pero explicar las decisiones de la IA después de que sucedan puede tener implicaciones peligrosas, argumenta Cynthia Rudin, profesora de informática de la Universidad de Duke.
“A las Redes Neuronales -en particular Deep Learning- que se utiliza en el ChatGPT, se las cuestiona por no explicar los resultados. Varias empresas están tratando de lograr esto. Pero si una aplicación con Machine Learning no aprende bien, en cada técnica se puede intentar mejorar el modelo, aunque no siempre se logra. Explique o no sus resultados”, señala Riccillo.
Apelando a la sinceridad mecánica de ChatGPT, este cronista lo consultó sobre los sesgos que enmascara la caja negra en las IA Generativa.
“La caja negra está fuera del alcance humano en sistemas de IA que utilizan algoritmos complejos, como las redes neuronales profundas. A veces, puede ser difícil para las personas entender cómo una decisión específica fue tomada, ya que puede haber múltiples capas de procesamiento y cálculo que son difíciles de seguir”.
Estos modelos opacos ganan territorio en algunos ámbitos laborales y sus derrames ya dejan una estela de consecuencias. Desde aprobar una biopsia para un posible tumor, conceder la libertad bajo fianza, bombardear una zona militar o aprobar una solicitud de crédito.
En la actualidad, unos 581 modelos intervienen en decisiones médicas han recibido autorización de la Food and Drug Administration. Casi 400 están destinados a ayudar a los radiólogos a detectar anomalías en las imágenes médicas, como tumores malignos o signos de un derrame cerebral.
