En los últimos años, Hadoop ha ganado mucha atención por su capacidad para procesar grandes volúmenes de datos variados. Sin embargo, su procesamiento por lotes ha sido objeto de críticas, ya que puede ralentizar la extracción de datos para análisis iterativos. Afortunadamente, dos nuevos jugadores han surgido en el mercado, prometiendo mayor velocidad en sus herramientas de análisis de Hadoop.
Skytree: aprendizaje automático en clústeres de Hadoop
Skytree Inc., con sede en San José, California, ha lanzado la última versión de su software de aprendizaje automático, que promete funciones mejoradas de extracción, transformación y carga (ETL) para datos no estructurados, así como herramientas de seguridad reforzadas. La compañía busca posicionar su software como un sistema de nivel empresarial, fortaleciendo la gobernanza y la seguridad de los datos.
El software de aprendizaje automático de Skytree puede operar con datos de diversas fuentes, pero la compañía lo presenta como una opción natural para Hadoop debido al procesamiento paralelo de datos que ofrece esta plataforma. Aunque Hadoop se basa en el procesamiento por lotes, la distribución de tareas en múltiples nodos puede ofrecer una velocidad respetable en comparación con la ejecución en un solo nodo. Esto permite a los programadores iterar trabajos de aprendizaje automático.
La nueva versión del software se centra en el aprendizaje automático de datos no estructurados. Si bien esto ya era posible con Skytree, la actualización simplifica aún más la preparación de estos datos para su análisis, automatizando el proceso de asignación de atributos a los puntos de datos. Además, se ha incluido una nueva consola administrativa que permite a los administradores asignar privilegios sobre las fuentes de datos y cómo los usuarios pueden combinarlos.
Arcadia Data: Business Intelligence directamente en Hadoop
Arcadia Data, Inc., una empresa relativamente nueva en el campo de la inteligencia empresarial (BI), ha anunciado su nueva herramienta de BI-on-Hadoop, diseñada para eliminar los sistemas intermedios entre Hadoop y los usuarios de negocio. La compañía logra este objetivo mediante un sistema que aprende las consultas de los usuarios con el tiempo y crea formularios predefinidos dentro de Hadoop para los datos comúnmente consultados. Esto permite a los usuarios acceder rápidamente a estos datos sin tener que pasar por un proceso ETL largo y complicado cada vez.
La herramienta presenta una interfaz visual que permite a los usuarios de negocio explorar y visualizar datos. Además, cuenta con funciones predefinidas que pueden realizar segmentación de clientes, análisis de ruta de compra y más. Aunque Hadoop es tradicionalmente un motor de procesamiento por lotes, Arcadia Data asegura que la velocidad de su herramienta se compara favorablemente con las herramientas de BI de sus competidores, como Tableau Software y MicroStrategy Inc., ya que los trabajos se ejecutan nativamente en Hadoop, sin pasar por sistemas intermedios.
El precio de la herramienta de BI-on-Hadoop se establece anualmente por nodo en el que se instala el software.
En resumen, estas nuevas herramientas están transformando la percepción de Hadoop como un gigante lento en un motor de análisis en tiempo real más ágil. Skytree y Arcadia Data están abriendo nuevas posibilidades para aprovechar al máximo el potencial de Hadoop en el procesamiento de grandes volúmenes de datos y el aprendizaje automático.
