El aprendizaje automático es la mayor revolución de la informática en décadas. Gracias a los algoritmos de aprendizaje, los ordenadores pueden realizar proezas sensacionales incluso en tareas abstractas. Pero, al igual que los humanos, los ordenadores cometen errores en el proceso, y entender por qué un algoritmo de aprendizaje automático comete ciertos errores es uno de los retos clave de la informática moderna.

Aquí es donde entran Michael Hedderich y Jonas Fischer con su investigación. Han desarrollado un software capaz de detectar los puntos débiles de algoritmos de aprendizaje automático muy complejos y ayudar así a corregirlos.

Gracias a los algoritmos de aprendizaje automático, los ordenadores pueden realizar proezas asombrosas, incluso en ámbitos que antes sólo se atribuían a los humanos, como el lenguaje y las bellas artes. Estos métodos computacionales se basan en las llamadas redes neuronales artificiales. "Se trata de redes de funciones matemáticas que ponderan una entrada en función de ciertos parámetros personalizables y generan una salida a partir de ella", explica Michael Hedderich, investigador de las universidades de Saarland (Alemania) y Cornell (Estados Unidos). Estas funciones, llamadas neuronas, se conectan en serie y se entrenan con ayuda de datos, de modo que los ordenadores son capaces, por ejemplo, de filtrar los gatos en millones de fotos o de producir diálogos con personas de apariencia engañosamente real.

"Uno de los algoritmos de síntesis de texto más avanzados y actualmente más citados del mundo, el GPT-3 de OpenAI, procesa la entrada utilizando 175.000 millones de parámetros antes de emitir un resultado. Para un ser humano es casi imposible seguir este proceso y comprender dónde se producen los errores", afirma Jonas Fischer, que actualmente es investigador postdoctoral en la Universidad de Harvard. El estado anterior de la técnica consistía en analizar el resultado de un algoritmo de aprendizaje automático en busca de errores y enumerarlos uno por uno. A continuación, los expertos debían encontrar patrones en los conjuntos de datos, que podían contener fácilmente miles de entradas. En nuestro nuevo software 'PyPremise', utilizamos técnicas de minería de datos para buscar automáticamente patrones específicos en estos conjuntos de datos de errores y agruparlos al final en "categorías de errores" comprensibles. Así, en lugar de enumerar cada error individualmente, nuestro software es capaz de resumir los errores en un nivel más abstracto y hacer afirmaciones como: 'Su algoritmo ML tiene problemas con las formulaciones que contienen la pregunta 'Cuánto''. Esto se deduce de los resultados incorrectos en los casos X, Y y Z", explica Michael Hedderich.

Los investigadores de Saarbrücken probaron su software con conjuntos de datos sintéticos y reales. En el proceso, pudieron demostrar que su método se adapta a conjuntos de datos muy grandes con muchas propiedades diferentes de los puntos de datos individuales y ofrece resultados fiables. "La información así obtenida sobre los puntos débiles de un algoritmo de aprendizaje automático puede ser utilizada por los operadores para revisar sus datos de entrenamiento, por ejemplo, y corregir así los errores del sistema", explica Jonas Fischer. En principio, la herramienta informática desarrollada por los dos informáticos sólo se aplica a algoritmos del ámbito del procesamiento del lenguaje natural. Sin embargo, uno de sus objetivos es ampliar la herramienta para que pueda aplicarse también a otros ámbitos.

Michael Hedderich es informático y trabaja en la Universidad de Cornell y en el grupo de investigación "Sistemas de lenguaje hablado" del profesor de lingüística computacional Dietrich Klakow, de la Universidad del Sarre. Jonas Fischer se doctoró en la Universidad del Sarre el verano pasado, tras haber realizado su doctorado en el Instituto Max Planck de Informática bajo la supervisión del profesor Jilles Vreeken, del Centro Helmholtz de Seguridad de la Información CISPA. Jonas es ahora investigador postdoctoral en la Universidad de Harvard. Los investigadores presentaron por primera vez los fundamentos científicos del software en julio de 2022 en la "International Conference on Machine Learning (ICML)", una de las conferencias más importantes y prestigiosas del mundo en este campo en la que, por lo general, solo se acepta la presentación de una quinta parte de los trabajos científicos enviados.