La gestión de big data puede presentar una serie de desafíos, pero no cuando se siguen los consejos que se detallan a continuación.
Desafíos del big data
La supervisión de datos puede ser un desafío, ya que implica desde la seguridad y privacidad hasta el cumplimiento de normas y el uso ético de los datos. Cuando se trata de big data, los problemas de gestión se vuelven aún más grandes debido a que los datos son no estructurados e impredecibles. A continuación, se presentan tres desafíos comunes en la gestión de big data y tres soluciones.
Desafío 1: Calidad de los datos
El big data debe ser limpiado, preparado, asegurado, verificado para el cumplimiento de normas y mantenido de manera continua. El problema con estas tareas es que los datos llegan tan rápido que las empresas encuentran difícil realizar todos los pasos de preparación de datos para garantizar una calidad óptima. En algunos casos, las organizaciones simplemente almacenan todos sus datos sin hacer mucho con ellos. Esto crea contaminación de datos. Además, los datos inexactos pueden aumentar el riesgo de que las decisiones comerciales se basen en información errónea.
Solución: Defina las reglas de negocio para la limpieza y preparación de datos y busque herramientas de automatización que puedan realizar tareas de preparación de datos por usted. En segundo lugar, determine qué datos realmente no necesita y establezca la automatización de purga de datos al comienzo de sus procesos de recolección de datos para eliminar estos datos antes de que lleguen a su red.
Desafío 2: Integración de plataformas
La integración de big data a menudo se centra en integrar datos de diferentes departamentos comerciales en una “única versión de la verdad” que todos en la empresa puedan utilizar. Sin embargo, también es un desafío para el departamento de TI gestionar big data que proviene en diferentes formatos y en muchas plataformas de hardware y software diferentes. “Hay una gran cantidad de almacenes de datos distribuidos en la parte trasera”, dijo Mansour Raad, arquitecto de software senior en ESRI. “Algunos de estos almacenes de datos distribuidos no son compatibles de forma nativa con nuestra plataforma… Dependiendo del almacén de datos, tendré que utilizar una API diferente, en su mayoría basada en Python, para manejar estas situaciones. No es óptimo. Acceder y almacenar datos en almacenes de datos no compatibles requiere que los desarrolladores cambien constantemente su programa para cada almacén de datos. Esto ralentiza los ciclos de desarrollo y hace que los clientes tarden mucho más en obtener información de los datos”. Básicamente, las diferentes plataformas de procesamiento de big data dificultan la simplificación de la infraestructura de TI para una gestión de datos más sencilla y flujos de procesamiento de big data. Esto es un desafío enorme para el departamento de TI.
Solución: Existen herramientas de automatización de software disponibles con cientos de API pre-desarrolladas para un amplio espectro de datos, bases de datos y archivos. Es posible que aún tenga que desarrollar una API caso por caso, pero estas herramientas pueden hacer la mayor parte del trabajo.
En resumen, la gestión de big data puede ser un desafío, pero con las soluciones adecuadas, las empresas pueden superar los obstáculos y aprovechar al máximo el potencial de sus datos.
