La inteligencia artificial (IA) ha experimentado avances significativos en los últimos años, permitiendo que las máquinas tomen decisiones empresariales y de seguridad críticas, desde guiar vehículos hasta diagnosticar enfermedades. Sin embargo, una crisis de reproducibilidad está generando incertidumbre en todo el campo, erosionando la confianza en la que se basa la economía de la IA.
La reproducibilidad, es decir, la capacidad de repetir un experimento y obtener los mismos resultados, es la base de la garantía de calidad en la ciencia, ya que permite verificar de forma independiente los hallazgos anteriores, construyendo así una base confiable para futuros descubrimientos. Esto es crucial porque los avances anteriores son el punto de referencia para medir todo el progreso posterior. Sin la capacidad de reproducir resultados pasados, se cuestiona la base misma en la que las máquinas están tomando decisiones legales, corporativas e incluso médicas. Esto podría impedirnos beneficiarnos de algunos de los mayores avances en el campo, desde las IA que impulsan las ciudades inteligentes hasta aquellas que encuentran nuevos tratamientos farmacológicos.
Por ejemplo, el aprendizaje profundo por refuerzo (RL), mediante el cual las máquinas prueban todas las soluciones posibles hasta encontrar la correcta, podría permitir que los autos sin conductor circulen infinitamente en realidad virtual hasta que aprendan a cambiar de carril de manera segura en el mundo real. Sin embargo, los expertos han descubierto que los resultados de RL no son fácilmente reproducibles, lo que plantea dudas sobre si se puede confiar en él para garantizar la seguridad vial. Un análisis de 30 artículos de IA encontró que la mayoría de ellos eran difíciles de reproducir debido a la falta de registros clave de sus metodologías, desde conjuntos de datos de entrenamiento hasta parámetros de estudio.
El problema fundamental es que la ciencia de datos no está regida por los mismos estándares generalmente aceptados de garantía de calidad que otros campos de la ciencia. Como resultado, el rastro de datos que traza el camino desde los orígenes de la IA hasta sus últimas iteraciones está envuelto en misterio. Actualmente no existen estándares universales que regulen las técnicas de captura, curación y procesamiento de datos que dan un significado y contexto vital a los experimentos de IA. Esto es equivalente a que los científicos del clima investiguen el calentamiento global sin reglas sobre cómo documentar las ubicaciones o unidades de las lecturas de temperatura.
Esto es particularmente preocupante ya que hay tantas iteraciones involucradas en el desarrollo de herramientas de aprendizaje automático y no existe un punto de referencia universal de buenas prácticas para implementar y registrar todas ellas. Un solo experimento para crear un sistema de reconocimiento facial implica una compleja serie de procesos, desde ejecuciones de entrenamiento hasta actualizaciones de software, cambios de archivos y ajustes del algoritmo. Si alguno de estos pasos no se registra meticulosamente, sería extremadamente difícil modificar la IA o reproducir los resultados originales.
Es fundamental abordar esta crisis de reproducibilidad en la IA para garantizar la confianza en el campo y aprovechar al máximo sus avances. Se necesitan estándares universales y mejores prácticas para documentar y registrar los experimentos de IA, así como para compartir los datos y metodologías utilizados. Solo de esta manera podremos asegurarnos de que las decisiones tomadas por las máquinas sean confiables y seguras.
Fuente del artículo: Forbes
