Caja negra: Científicos abren el razonamiento oculto de la IA
Un nuevo proyecto desarrolla una técnica que hace más evidente el razonamiento de la caja negra de la inteligencia artificial en tareas complejas.
-
Caja negra: Científicos abren el razonamiento oculto de la IA
En entornos de alto riesgo, como el diagnóstico médico, los usuarios suelen querer saber qué ocurre dentro de una caja negra cuando un modelo de visión artificial emite una predicción, para así decidir si conviene confiar en el resultado o cuestionarlo.
Un grupo de científicos informáticos del Instituto Tecnológico de Massachusetts (MIT) presentó un método que aumenta la precisión de los modelos y, al mismo tiempo, ofrece explicaciones más claras y concisas.
El autor principal y estudiante de posgrado de la Universidad Politécnica de Milán, Antonio De Santis, explicó el propósito del trabajo:
“Queremos leer la mente de estos modelos de visión artificial. Un modelo de cuello de botella conceptual permite entender qué piensa el sistema y por qué realiza una predicción. Al utilizar conceptos más sólidos, nuestro método aumenta la precisión y mejora su fiabilidad”.
De Santis desarrolló la investigación durante su estancia como estudiante visitante en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT.
En el proyecto colaboraron Schrasing Tong, Marco Brambilla, profesor de informática e ingeniería en la Universidad Politécnica de Milán, y Lalana Kagal, investigadora principal en CSAIL.
Su equipo presentó los resultados en la Conferencia Internacional sobre Representaciones de Aprendizaje.
🔴 Guerra contra Irán dispara alarmas éticas del uso de la IA
— Al Mayadeen Español (@almayadeen_es) March 10, 2026
📌El uso de inteligencia artificial por Estados Unidos e "Israel" en la guerra contra Irán genera serias dudas éticas y legales.
✅ Siga leyendo en: https://t.co/A28ORFBrhO#Iran #Guerra #IA #EEUU pic.twitter.com/zNz2tl62YJ
Caja negra y modelos conceptuales: cómo hacer comprensible la IA
-
Uno de los grandes retos es hacer comprender modelos de cajas negras de IA en salud
Los modelos de cuello de botella conceptual (CBM, por sus siglas en inglés) constituyen una estrategia extendida para mejorar la explicabilidad de la inteligencia artificial.
Este enfoque introduce un paso intermedio: primero el modelo identifica los conceptos presentes en una imagen; después utiliza esos conceptos para producir la predicción final.
Cómo revelar lo que aprende una caja negra
Según De Santis, muchos modelos optimizan el rendimiento sin ofrecer pistas sobre los conceptos que emplean:
“Estos sistemas buscan el máximo rendimiento, por lo que pueden usar conceptos que desconocemos”.
El equipo del Massachusetts Institute of Technology planteó otra hipótesis. Si el modelo ya se entrenó con grandes volúmenes de datos, entonces pudo aprender conceptos útiles para resolver la tarea.
La investigación buscó extraer ese conocimiento oculto dentro de la caja negra y convertirlo en explicaciones comprensibles para las personas.
Según explicaron, el método funciona en dos etapas:
- Extracción de características: un modelo de aprendizaje profundo, denominado autoencoder disperso, selecciona las características más relevantes y las reorganiza en un conjunto de conceptos.
- Interpretación en lenguaje natural: un modelo multimodal describe cada concepto mediante frases claras.
El sistema alcanzó mayor precisión que otros métodos basados en conceptos y generó explicaciones más exactas sobre el comportamiento de la caja negra.
🔴 Guerra contra Irán dispara alarmas éticas del uso de la IA
— Al Mayadeen Español (@almayadeen_es) March 10, 2026
📌El uso de inteligencia artificial por Estados Unidos e "Israel" en la guerra contra Irán genera serias dudas éticas y legales.
✅ Siga leyendo en: https://t.co/A28ORFBrhO#Iran #Guerra #IA #EEUU pic.twitter.com/zNz2tl62YJ
Caja negra e interpretabilidad: un desafío central para la IA
-
La nueva investigación buscó extraer el conocimiento oculto dentro de la caja negra
Los investigadores planearon abordar en el futuro el problema de la fuga de información, quizá mediante módulos adicionales que limiten la difusión de conceptos no deseados.
El investigador Bryon Aragam resume el desafío con claridad:
“Puedes volverte tan ambicioso como quieras y construir la red neuronal más grande y profunda, y aun así integrar la interpretabilidad desde el principio”.
Incluso líderes del sector reconocen esa incertidumbre. En abril de 2025, el empresario Dario Amodei, cofundador del laboratorio de IA Anthropic y director ejecutivo de la empresa, afirmó:
“Las personas fuera del campo suelen sorprenderse y alarmarse al saber que no entendemos cómo funcionan nuestras propias creaciones de IA. Tienen razón en preocuparse: esta falta de comprensión no tiene precedentes en la historia de la tecnología”.
Por ese motivo, la interpretabilidad —la ciencia que intenta abrir la mente de la caja negra— se convirtió en una prioridad para el desarrollo responsable de la inteligencia artificial.
Al Mayadeen Español