Un amplio panorama de la explicabilidad de la Inteligencia Artificial

Sep142021

‘Explainable AI: Interpreting, explaining and visualizing deep learning‘ es un largo compendio del estado del arte en explicabilidad de la Inteligencia Artificial. Un comependio realizado de manera coral por multitud de autores que se encargan de forma individual o en grupos de dos o tres, de cada uno de los 22 capítulos que componen el volumen.

Un libro escrito en estilo científico, ordenado, riguroso, austero y con frecuencia profundo por lo que se trata de una obra valiosa aunque no del todo fácil de ‘digerir’.

En su haber, aparte del rigor y la actualidad del tema, el haber conseguido un discurso razonablemente ordenado y completo para estar escrito por tantas manos.

Los veintidos capítulos se estructuran en siete partes, como sigue:

‘PART I: TOWARDS AI TRANSPARENCY:‘ Se presentan los diferentes aspectos del problema de la explicación y se proporciona una revisión de alto nivel de los desarrollos recientes, puntos abiertos y áreas de investigación. Abarca los siguientes tres capítulos:
- ‘1. Towards Explainable Artificial Intelligence:‘ Explica por qué es necesaria la explicabilidad desde diferentes perspectivas: seguridad, confiabilidad, social, legal y la posibilidad de extraer nuevo conocimiento. También se comentan las diferentes facetas de una explicación y se resumen los desarrollos actuales y los puntos abiertos.
- ‘2. Transparency: Motivations and Challenges:‘ Se enfoca en los desafíos de la transparencia. Se pasa revista a varios tipos y objetivos de trasparencia, cada uno de las cuales requiere de un tipo diferente de explicación. Además, apunta a los posibles peligros de la transparencia y comenta la relacion entre trasparencia y otros conceptos como los de justicia y confianza.
- ‘3. Interpretability in Intelligent Systems – A New Concept?:‘ Se repasa la historia de la explicabilidad de la inteligencia artificial y, en particular, la prevalencia de la cuestión de la explicacón en la investigación primigenia en el campo de los sistemas expertos, los intentos en este contexto de caracterizar las explicaciones en términos de ‘desiderata‘ y la necesidad de cuantificar la incertidumbre asociada a estas explicaciones.
‘PART II: METHODS FOR INTERPRETING AI SYSTEMS:‘ Intenta recoger el estado del arte en cuanto a técnicas para la interpretación de modelos de machine learning complejos.
- ‘4. Understanding Neural Networks via feature Visualizations: A Survey:‘ Presenta la situación en que una red neuronal es sometida a unas entradas de un dominio conocido por los humanos y se trabaja con esas entradas para maximizar la activación de una neurona de salida, de manera que el humano pueda interpretar el significado asignado a esa neurona de salida. Los modelos de que se habla son visualizables por humanos, haciendo que el concepto aprendido por la red sea interpretable.
- ‘5. Interpretable Text-To-Image Synthesis with Hiercarchical Semantic Layout Generation:‘ Presenta un modelo de red generativa en que se puede convertir texto en otra modalidad como, por ejemplo, imágenes.
- ‘6. Unsupervised Discrete Representation Learning:‘ Presenta un algoritmo para resumir datos de entrada en clusters o hashes que sean interpretables por humanos trabajando, como elemento fundamental, con invariancias.
- ‘7. Towards Reverse-Engineering Black-Box Neural Networks:‘ Se estudia cómo, en un entorno de redes adversarias, si utilizamos un modelo muy transparente ésto podría ser explotado por un usuario malicioso.
‘PART III: EXPLAINING THE DECISIONS OF AI SYSTEMS:‘ En esta parte se centra en métodos de explicabilidad que ponen el foco en saber cómo las características de entrada influyen en la salida, lo que permite a un humano juzgar si la decisión se basa en factores relevantes y no en correlaciones espúreas. Se desarrolla en cuatro capítulos:
- ‘8. Explanations for Attributing Deep Neural Network Predictions:‘ Presenta el método denominado ‘meaningful perturbation‘ que sintetiza una perturbación local mínima en los datos pero provocando un gran impacto en el modelo de decisión con lo que se puede deducir que las variables que intervienen en la perturbacion tienen mucho peso en la decisión.
- ‘9. Gradient-Based Attribution Methods:‘ Se exploran varias técnicas basadas en gradiente (‘gradient-based‘) en los que la explicación se obtienen a partir de los componentes del gradiente de una función de decisión.
- ‘10. Layer-Wise Relevance Propagation: An Overview:‘ presenta la técnica denominda ‘Layer-Wise Relevance Propagation’ (LRP) que obtiene explicaciones de redes neuronales profundas propagando la decisión hacia atrás en la red mediante unas reglas de propagación cuidadosamente diseñadas.
- ‘11. Explaining and interpreting LSTMs:‘ Estudia las extensión de la técnica LRP vista en el capítulo 10 a otro tipo de redes como las LSTM.
‘PART IV: EVALUATING INTERPRETABILITY AND EXPLANATIONS:‘ Esta parte se centra en la evaluación cuantitativa de la explicaciones proporcionadas y la comparación entre diferentes técnicas.
- ‘12. Comparing the Interpretability of Deep Networks via Network Dissection:‘ Se presenta la técnica denominada ‘network dissection‘, una técnica que ve las unidades de una red neuronal como detectores de conceptos y mide la interpretabilidad como el grado de alineamiento entre las activaciones de la red neuronal y los conceptos del mundo real.
- ‘13. Gradient-Based Vs. Propagated-Based Explanations: An Axiomatic Comparison:‘ Se propone la evaluación de las técnicas de explicación mediante un enfoque axiomático y, en concreto, se consideran tres propiedades axiomáticas y con base en ellas se comparan los métodos basados en gradiente frente a los LRP.
- ‘14. The (Un)reliability of Saliency Methods:‘ presenta un estudio de la calidad y fiabilidad de los llamados métodos de prominencia (‘saliency methods‘).
‘PART V: APPLICATIONS OF EXPLAINABLE AI:‘ Se muestran algunos casos de uso de la explicabilidad en ámbitos como la visión artificial, ciencias físicas e investigaciónb del cerebro, ocupando esta parte, los siguientes siete capítulos:
- ‘15. Visual Scene Understanding for Autonomous Driving Using Semantic Segmentation:‘ Se aplica el problema de la explicabilidad y la inspectabilidad al caso de los vehículos autónomos y se propone un modelo de segmentación semántica que aplica una clase de objeto a cada pixel de la imagen de entrada. Los mapas así creados son interpretables por personas.
- ‘16. Understanding Patch-Based Learning of Video Data by Explaining Predictions:‘ Se cambia completamente de tercio para aplicar la explicabilidad al ámbito de las propiedades moleculares y la predicción de actividad biológica.
- ‘17. Quantum-Chemical Insights from Interpretable Atomistic Neural networks:‘ Saltamos al campo dela química, para ver las posibilidades de uso en la predicción de propiedades químicas con base en redes neuronales profundas.
- ‘18. Interpretable Deep Learning in Drug Discovery:‘ Un poco en línea con el capítulo anterior ahora se aborda el uso de la explicabilidad en el problema de las propiedades moleculares y la predicción de bioactividad.
- ‘19. NeuralHydrology – Interpreting LSTMs in Hydrology:‘ En este caso contemplamos el uso de una red LSTM para la predicción de lluvia.
- ‘20. Feature Fallacy: Complications with Interpeting Linear Decoding Weights in fMRI:‘ Se comentan los retos para la intepretación de modelos de inteligencia artificial en neurociencia, por ejemplo, en neuroimagen (fMRI).
- ‘21. Current Advances in Neural Decoding:‘ Finalmente se aplica la explicabilidad a la reconstrucción de la experiencia visual de un sujeto, a partir de patrones de actividad neuronal.
‘PART VI: SOFTWARE FOR EXPLAINABLE AI:‘ Una parte final, compuesta por un sólo capítulo para ver alguna solución de software cocreta
- ‘22. Software and Application Patters for Explanation Methods:‘ Se explica el uso de diferentes soluciones software como, por ejemplo, cómo implementar la técnica basada en gradiente con TensorFlow o las herramientas iNNvestigate.

‘Explainable AI: Interpreting, explaining and visualizing deep learning‘ llena, probablemente, en el momento de escribir esta reseña, un cuasi-vacío en literatura técnica alrededor de la explicabilidad de la inteligencia artificial y proporciona una sólida guía, bien que no del toda sencilla, a tan interesante e innovadora materia.