{"id":17339,"date":"2021-01-29T04:54:29","date_gmt":"2021-01-29T09:54:29","guid":{"rendered":"https:\/\/intosai.nclud.com\/journal-entry\/auditing-machine-learning-algorithms\/"},"modified":"2023-05-10T00:12:07","modified_gmt":"2023-05-10T04:12:07","slug":"auditing-machine-learning-algorithms","status":"publish","type":"journal-entry","link":"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/","title":{"rendered":"Auditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos"},"content":{"rendered":"\n
\n

A medida que se intensifica la implementaci\u00f3n de IA y ML, ser\u00e1 imperativo que los auditores p\u00fablicos aborden los desaf\u00edos que plantea esta tecnolog\u00eda progresivamente invasiva.<\/p>\npor Jan Roar Beckstrom, cient\u00edfico jefe de datos\u2014The Innovation Lab, Oficina del Auditor General de Noruega<\/cite><\/blockquote>\n\n\n\n

Las autoridades p\u00fablicas y las entidades gubernamentales ya han comenzado a desarrollar e implementar algoritmos de Inteligencia Artificial (AI) y Machine Learning (ML) para mejorar los servicios p\u00fablicos y reducir costos.<\/p>\n\n\n\n

Si bien las ganancias potenciales son inmensas, esta tecnolog\u00eda tambi\u00e9n presenta nuevos desaf\u00edos y riesgos, como la seguridad de los datos, la posibilidad de un trato desigual automatizado e institucionalizado y la producci\u00f3n masiva de decisiones incorrectas o discriminatorias.<\/p>\n\n\n\n

A medida que la IA se vuelve m\u00e1s frecuente, ser\u00e1 cada vez m\u00e1s necesario que las Entidades Fiscalizadoras Superiores (EFS) auditen las aplicaciones que se basan en algoritmos de IA y ML, que generalmente se realizan como casos especiales de auditor\u00eda de desempe\u00f1o o cumplimiento. Adem\u00e1s, los modelos de IA tienden a integrarse en infraestructuras de tecnolog\u00eda de la informaci\u00f3n (TI) m\u00e1s amplias, lo que indica la necesidad de incorporar elementos de auditor\u00eda de TI.<\/p>\n\n\n\n

Actualmente, existe una gu\u00eda limitada para los auditores p\u00fablicos sobre c\u00f3mo auditar los algoritmos de IA y ML. Para cerrar esta brecha, la Oficina del Auditor General de Noruega, junto con colegas de ciencia de datos de las EFS de Finlandia, Alemania, los Pa\u00edses Bajos y el Reino Unido, desarrollaron “Auditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos”.<\/p>\n\n\n\n

El documento, disponible en l\u00ednea en www.auditingalgorithms.net, resume los principales riesgos relacionados con el uso de IA y ML en los servicios p\u00fablicos. Basado en la experiencia acumulada con auditor\u00edas de IA y auditor\u00edas de otros proyectos de desarrollo de software, el libro blanco tambi\u00e9n sugiere un cat\u00e1logo de auditor\u00eda que incluye enfoques metodol\u00f3gicos para auditor\u00edas de aplicaciones de IA.<\/p>\n\n\n\n

Este art\u00edculo toca brevemente algunos de los puntos clave.<\/p>\n\n\n\n

Gesti\u00f3n de proyectos y gobernanza de sistemas de IA<\/strong><\/em><\/h2>\n\n\n\n

\u00bfSe requiere un conocimiento t\u00e9cnico altamente especializado de los modelos de IA para auditar los algoritmos? No necesariamente.<\/p>\n\n\n\n

La auditor\u00eda del desarrollo de un sistema de IA tiene mucho en com\u00fan con cualquier auditor\u00eda de gesti\u00f3n de proyectos. Si una agencia gubernamental ha introducido la IA en un entorno espec\u00edfico, una pregunta muy buena y simple puede ser: “\u00bfExiste un objetivo claro sobre el logro deseado?” Adem\u00e1s, si los consultores externos implementaron el sistema de IA, “\u00bfExiste una estructura sostenible para mantener el modelo una vez que los consultores se van?”<\/p>\n\n\n\n

Para aliviar la necesidad de habilidades especializadas, es esencial que la agencia tenga una amplia documentaci\u00f3n del desarrollo del modelo y personal que entienda el modelo.<\/p>\n\n\n\n

Consideraciones de datos<\/strong><\/em><\/h2>\n\n\n\n

La calidad de los datos siempre es importante, pero en el modelado de IA es crucial. Los datos simplificados y sesgados pueden generar resultados err\u00f3neos no intencionales.<\/p>\n\n\n\n

Un ejemplo: si se utilizan los mismos datos para construir el modelo (durante la fase de entrenamiento) y verificar el rendimiento (durante las pruebas o la validaci\u00f3n), lo m\u00e1s probable es que se inflen las m\u00e9tricas de rendimiento. Este “sobreajuste” conduce a una p\u00e9rdida de rendimiento cuando se utiliza en datos de producci\u00f3n nuevos y desconocidos.<\/p>\n\n\n\n

Otra consideraci\u00f3n importante sobre los datos se relaciona con la privacidad y el uso de datos personales. La Uni\u00f3n Europea instituy\u00f3 el Reglamento General de Protecci\u00f3n de Datos (GDPR), que mantiene la minimizaci\u00f3n de datos (limitar la cantidad de informaci\u00f3n personal utilizada a lo que es necesario para alcanzar el objetivo relevante) como un principio central. En un entorno de IA, esto equivale a restringir el uso generalizado de informaci\u00f3n personal al entrenar o probar modelos. Aunque los pa\u00edses en otras partes del mundo tendr\u00e1n diferentes regulaciones, minimizar el uso de datos personales a lo que es estrictamente esencial es una buena regla general.<\/p>\n\n\n\n

Modelo de desarrollo<\/strong><\/em><\/h2>\n\n\n\n

El desarrollo de modelos transparentes y bien documentados facilita la reproducibilidad, que puede ser probada f\u00e1cilmente por un auditor con suficiente conocimiento de IA y ML que realiza una revisi\u00f3n de la documentaci\u00f3n.<\/p>\n\n\n\n

Preferiblemente, la documentaci\u00f3n incluir\u00e1 un c\u00f3digo base bien estructurado y bien comentado (de acuerdo con los est\u00e1ndares del lenguaje de codificaci\u00f3n), registros extensos de hardware y software utilizados, y explicaciones sobre c\u00f3mo se mantendr\u00e1 el modelo una vez que se ponga en producci\u00f3n.<\/p>\n\n\n\n

Es igualmente importante que el algoritmo de IA o ML seleccionado est\u00e9 bien articulado, especialmente si se utiliza un modelo dif\u00edcil de explicar. El entrenamiento y la prueba del modelo elegido contra otros modelos pueden ser \u00fatiles para que los auditores verifiquen el modelo elegido.<\/p>\n\n\n\n

La justicia y la igualdad de trato siguen estando a la vanguardia del desarrollo de modelos, ya que el sesgo algor\u00edtmico puede conducir potencialmente a una discriminaci\u00f3n institucionalizada.<\/p>\n\n\n\n

Si los datos utilizados para construir un modelo est\u00e1n ligeramente sesgados, un modelo desarrollado sin cuidado puede amplificar tales propiedades. La equidad basada en grupos requiere modelos de ML para tratar a diferentes grupos de manera similar. La equidad puede ser un poco m\u00e1s compleja. Por ejemplo, si los datos obtenidos para entrenar un modelo de IA incluyen disparidades demogr\u00e1ficas a nivel de grupo, el modelo aprender\u00e1 estas disparidades, lo que puede generar predicciones enga\u00f1osas.<\/p>\n\n\n\n

La construcci\u00f3n de un modelo de IA basado en datos sesgados puede conducir a resultados distorsionados que, a su vez, se convierten en la base de decisiones automatizadas que pueden generar conclusiones a\u00fan m\u00e1s sesgadas.<\/p>\n\n\n\n

El uso de IA y ML en el sector p\u00fablico puede generar enormes recompensas. Al mismo tiempo, existe un peligro real de que el despliegue fallido pueda da\u00f1ar la democracia y el tejido social al promover potencialmente la discriminaci\u00f3n y el trato desigual a gran escala.<\/p>\n\n\n\n

A medida que se intensifica la implementaci\u00f3n de IA y ML, ser\u00e1 imperativo que los auditores p\u00fablicos aborden los desaf\u00edos que plantea esta tecnolog\u00eda progresivamente invasiva.<\/p>\n\n\n\n

\u201cAuditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos\u201d tiene como objetivo ayudar a las EFS a aprender m\u00e1s sobre la auditor\u00eda de algoritmos de IA y ML y ayudar a los auditores a estar mejor equipados para enfrentar los desaf\u00edos.<\/p>\n","protected":false},"excerpt":{"rendered":"

Las autoridades p\u00fablicas y las entidades gubernamentales ya han comenzado a desarrollar e implementar algoritmos de Inteligencia Artificial (AI) y Machine Learning (ML) para mejorar los servicios p\u00fablicos y reducir costos.<\/p>\n","protected":false},"author":127,"featured_media":7289,"template":"","meta":{"_acf_changed":false,"footnotes":""},"journal-categories":[1316,1335],"content-tags":[1137,947],"country":[2939],"region":[1341],"section":[1346],"coauthors":[],"class_list":["post-17339","journal-entry","type-journal-entry","status-publish","has-post-thumbnail","hentry","journal-categories-spotlight-on-science-and-technology-es","journal-categories-winter-2021-es","content-tags-machine-learning-es","content-tags-artificial-intelligence-es","country-norway-5-es","region-eurosai-es","section-spotlight-on-science-and-technology-es"],"acf":[],"yoast_head":"\nAuditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos - INTOSAI Journal<\/title>\n<meta name=\"robots\" content=\"noindex, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<meta property=\"og:locale\" content=\"es_ES\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Auditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos - INTOSAI Journal\" \/>\n<meta property=\"og:description\" content=\"Las autoridades p\u00fablicas y las entidades gubernamentales ya han comenzado a desarrollar e implementar algoritmos de Inteligencia Artificial (AI) y Machine Learning (ML) para mejorar los servicios p\u00fablicos y reducir costos.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/\" \/>\n<meta property=\"og:site_name\" content=\"INTOSAI Journal\" \/>\n<meta property=\"article:modified_time\" content=\"2023-05-10T04:12:07+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/02\/Spotlight-on-ST-2x2-1-2.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"600\" \/>\n\t<meta property=\"og:image:height\" content=\"600\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:site\" content=\"@intosaijournal\" \/>\n<meta name=\"twitter:label1\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data1\" content=\"5 minutes\" \/>\n\t<meta name=\"twitter:label2\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data2\" content=\"Jan Roar Beckstrom\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/\",\"url\":\"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/\",\"name\":\"Auditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos - INTOSAI Journal\",\"isPartOf\":{\"@id\":\"https:\/\/intosai.nclud.com\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/02\/Spotlight-on-ST-2x2-1-2.jpg\",\"datePublished\":\"2021-01-29T09:54:29+00:00\",\"dateModified\":\"2023-05-10T04:12:07+00:00\",\"breadcrumb\":{\"@id\":\"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#breadcrumb\"},\"inLanguage\":\"es-ES\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"es-ES\",\"@id\":\"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#primaryimage\",\"url\":\"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/02\/Spotlight-on-ST-2x2-1-2.jpg\",\"contentUrl\":\"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/02\/Spotlight-on-ST-2x2-1-2.jpg\",\"width\":600,\"height\":600},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/intosai.nclud.com\/es\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Auditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/intosai.nclud.com\/#website\",\"url\":\"https:\/\/intosai.nclud.com\/\",\"name\":\"INTOSAI Journal\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\/\/intosai.nclud.com\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/intosai.nclud.com\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"es-ES\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/intosai.nclud.com\/#organization\",\"name\":\"INTOSAI Journal\",\"url\":\"https:\/\/intosai.nclud.com\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"es-ES\",\"@id\":\"https:\/\/intosai.nclud.com\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/04\/logo.png\",\"contentUrl\":\"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/04\/logo.png\",\"width\":736,\"height\":122,\"caption\":\"INTOSAI Journal\"},\"image\":{\"@id\":\"https:\/\/intosai.nclud.com\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/x.com\/intosaijournal\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Auditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos - INTOSAI Journal","robots":{"index":"noindex","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"og_locale":"es_ES","og_type":"article","og_title":"Auditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos - INTOSAI Journal","og_description":"Las autoridades p\u00fablicas y las entidades gubernamentales ya han comenzado a desarrollar e implementar algoritmos de Inteligencia Artificial (AI) y Machine Learning (ML) para mejorar los servicios p\u00fablicos y reducir costos.","og_url":"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/","og_site_name":"INTOSAI Journal","article_modified_time":"2023-05-10T04:12:07+00:00","og_image":[{"width":600,"height":600,"url":"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/02\/Spotlight-on-ST-2x2-1-2.jpg","type":"image\/jpeg"}],"twitter_card":"summary_large_image","twitter_site":"@intosaijournal","twitter_misc":{"Est. reading time":"5 minutes","Written by":"Jan Roar Beckstrom"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/","url":"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/","name":"Auditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos - INTOSAI Journal","isPartOf":{"@id":"https:\/\/intosai.nclud.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#primaryimage"},"image":{"@id":"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#primaryimage"},"thumbnailUrl":"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/02\/Spotlight-on-ST-2x2-1-2.jpg","datePublished":"2021-01-29T09:54:29+00:00","dateModified":"2023-05-10T04:12:07+00:00","breadcrumb":{"@id":"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#breadcrumb"},"inLanguage":"es-ES","potentialAction":[{"@type":"ReadAction","target":["https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/"]}]},{"@type":"ImageObject","inLanguage":"es-ES","@id":"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#primaryimage","url":"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/02\/Spotlight-on-ST-2x2-1-2.jpg","contentUrl":"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/02\/Spotlight-on-ST-2x2-1-2.jpg","width":600,"height":600},{"@type":"BreadcrumbList","@id":"https:\/\/intosai.nclud.com\/es\/journal-entry\/auditing-machine-learning-algorithms\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/intosai.nclud.com\/es\/"},{"@type":"ListItem","position":2,"name":"Auditor\u00eda de algoritmos de aprendizaje autom\u00e1tico: un libro blanco para auditores p\u00fablicos"}]},{"@type":"WebSite","@id":"https:\/\/intosai.nclud.com\/#website","url":"https:\/\/intosai.nclud.com\/","name":"INTOSAI Journal","description":"","publisher":{"@id":"https:\/\/intosai.nclud.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/intosai.nclud.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"es-ES"},{"@type":"Organization","@id":"https:\/\/intosai.nclud.com\/#organization","name":"INTOSAI Journal","url":"https:\/\/intosai.nclud.com\/","logo":{"@type":"ImageObject","inLanguage":"es-ES","@id":"https:\/\/intosai.nclud.com\/#\/schema\/logo\/image\/","url":"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/04\/logo.png","contentUrl":"https:\/\/intosai.nclud.com\/wp-content\/uploads\/2023\/04\/logo.png","width":736,"height":122,"caption":"INTOSAI Journal"},"image":{"@id":"https:\/\/intosai.nclud.com\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/x.com\/intosaijournal"]}]}},"_links":{"self":[{"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/journal-entry\/17339","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/journal-entry"}],"about":[{"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/types\/journal-entry"}],"author":[{"embeddable":true,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/users\/127"}],"version-history":[{"count":2,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/journal-entry\/17339\/revisions"}],"predecessor-version":[{"id":17355,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/journal-entry\/17339\/revisions\/17355"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/media\/7289"}],"wp:attachment":[{"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/media?parent=17339"}],"wp:term":[{"taxonomy":"journal-categories","embeddable":true,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/journal-categories?post=17339"},{"taxonomy":"content-tags","embeddable":true,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/content-tags?post=17339"},{"taxonomy":"country","embeddable":true,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/country?post=17339"},{"taxonomy":"region","embeddable":true,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/region?post=17339"},{"taxonomy":"section","embeddable":true,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/section?post=17339"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/intosai.nclud.com\/es\/wp-json\/wp\/v2\/coauthors?post=17339"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}