Auditoría de algoritmos de aprendizaje automático: un libro blanco para auditores públicos

A medida que se intensifica la implementación de IA y ML, será imperativo que los auditores públicos aborden los desafíos que plantea esta tecnología progresivamente invasiva.

por Jan Roar Beckstrom, científico jefe de datos—The Innovation Lab, Oficina del Auditor General de Noruega

Las autoridades públicas y las entidades gubernamentales ya han comenzado a desarrollar e implementar algoritmos de Inteligencia Artificial (AI) y Machine Learning (ML) para mejorar los servicios públicos y reducir costos.

Si bien las ganancias potenciales son inmensas, esta tecnología también presenta nuevos desafíos y riesgos, como la seguridad de los datos, la posibilidad de un trato desigual automatizado e institucionalizado y la producción masiva de decisiones incorrectas o discriminatorias.

A medida que la IA se vuelve más frecuente, será cada vez más necesario que las Entidades Fiscalizadoras Superiores (EFS) auditen las aplicaciones que se basan en algoritmos de IA y ML, que generalmente se realizan como casos especiales de auditoría de desempeño o cumplimiento. Además, los modelos de IA tienden a integrarse en infraestructuras de tecnología de la información (TI) más amplias, lo que indica la necesidad de incorporar elementos de auditoría de TI.

Actualmente, existe una guía limitada para los auditores públicos sobre cómo auditar los algoritmos de IA y ML. Para cerrar esta brecha, la Oficina del Auditor General de Noruega, junto con colegas de ciencia de datos de las EFS de Finlandia, Alemania, los Países Bajos y el Reino Unido, desarrollaron “Auditoría de algoritmos de aprendizaje automático: un libro blanco para auditores públicos”.

El documento, disponible en línea en www.auditingalgorithms.net, resume los principales riesgos relacionados con el uso de IA y ML en los servicios públicos. Basado en la experiencia acumulada con auditorías de IA y auditorías de otros proyectos de desarrollo de software, el libro blanco también sugiere un catálogo de auditoría que incluye enfoques metodológicos para auditorías de aplicaciones de IA.

Este artículo toca brevemente algunos de los puntos clave.

Gestión de proyectos y gobernanza de sistemas de IA

¿Se requiere un conocimiento técnico altamente especializado de los modelos de IA para auditar los algoritmos? No necesariamente.

La auditoría del desarrollo de un sistema de IA tiene mucho en común con cualquier auditoría de gestión de proyectos. Si una agencia gubernamental ha introducido la IA en un entorno específico, una pregunta muy buena y simple puede ser: “¿Existe un objetivo claro sobre el logro deseado?” Además, si los consultores externos implementaron el sistema de IA, “¿Existe una estructura sostenible para mantener el modelo una vez que los consultores se van?”

Para aliviar la necesidad de habilidades especializadas, es esencial que la agencia tenga una amplia documentación del desarrollo del modelo y personal que entienda el modelo.

Consideraciones de datos

La calidad de los datos siempre es importante, pero en el modelado de IA es crucial. Los datos simplificados y sesgados pueden generar resultados erróneos no intencionales.

Un ejemplo: si se utilizan los mismos datos para construir el modelo (durante la fase de entrenamiento) y verificar el rendimiento (durante las pruebas o la validación), lo más probable es que se inflen las métricas de rendimiento. Este “sobreajuste” conduce a una pérdida de rendimiento cuando se utiliza en datos de producción nuevos y desconocidos.

Otra consideración importante sobre los datos se relaciona con la privacidad y el uso de datos personales. La Unión Europea instituyó el Reglamento General de Protección de Datos (GDPR), que mantiene la minimización de datos (limitar la cantidad de información personal utilizada a lo que es necesario para alcanzar el objetivo relevante) como un principio central. En un entorno de IA, esto equivale a restringir el uso generalizado de información personal al entrenar o probar modelos. Aunque los países en otras partes del mundo tendrán diferentes regulaciones, minimizar el uso de datos personales a lo que es estrictamente esencial es una buena regla general.

Modelo de desarrollo

El desarrollo de modelos transparentes y bien documentados facilita la reproducibilidad, que puede ser probada fácilmente por un auditor con suficiente conocimiento de IA y ML que realiza una revisión de la documentación.

Preferiblemente, la documentación incluirá un código base bien estructurado y bien comentado (de acuerdo con los estándares del lenguaje de codificación), registros extensos de hardware y software utilizados, y explicaciones sobre cómo se mantendrá el modelo una vez que se ponga en producción.

Es igualmente importante que el algoritmo de IA o ML seleccionado esté bien articulado, especialmente si se utiliza un modelo difícil de explicar. El entrenamiento y la prueba del modelo elegido contra otros modelos pueden ser útiles para que los auditores verifiquen el modelo elegido.

La justicia y la igualdad de trato siguen estando a la vanguardia del desarrollo de modelos, ya que el sesgo algorítmico puede conducir potencialmente a una discriminación institucionalizada.

Si los datos utilizados para construir un modelo están ligeramente sesgados, un modelo desarrollado sin cuidado puede amplificar tales propiedades. La equidad basada en grupos requiere modelos de ML para tratar a diferentes grupos de manera similar. La equidad puede ser un poco más compleja. Por ejemplo, si los datos obtenidos para entrenar un modelo de IA incluyen disparidades demográficas a nivel de grupo, el modelo aprenderá estas disparidades, lo que puede generar predicciones engañosas.

La construcción de un modelo de IA basado en datos sesgados puede conducir a resultados distorsionados que, a su vez, se convierten en la base de decisiones automatizadas que pueden generar conclusiones aún más sesgadas.

El uso de IA y ML en el sector público puede generar enormes recompensas. Al mismo tiempo, existe un peligro real de que el despliegue fallido pueda dañar la democracia y el tejido social al promover potencialmente la discriminación y el trato desigual a gran escala.

A medida que se intensifica la implementación de IA y ML, será imperativo que los auditores públicos aborden los desafíos que plantea esta tecnología progresivamente invasiva.

“Auditoría de algoritmos de aprendizaje automático: un libro blanco para auditores públicos” tiene como objetivo ayudar a las EFS a aprender más sobre la auditoría de algoritmos de IA y ML y ayudar a los auditores a estar mejor equipados para enfrentar los desafíos.