Hace unas semanas, dos gigantes de la era del Big Data y Hadoop, Cloudera y Hortonworks, anunciaron su fusión. El anuncio afirmaba que sería una “fusión de iguales”. Es fascinante ver cómo estos dos pioneros se unen. Recuerdo hace varios años cuando irrumpieron en la escena tecnológica. Prometieron ayudar a los líderes a reestructurar sus centros de datos y marcos de información, y reducir sustancialmente el costo de almacenar y procesar datos, que solía ser de miles de dólares por terabyte. Reconocieron que los datos generados por diversas fuentes, como dispositivos de Internet de las cosas, video y medios no textuales, registros de transacciones, gráficos sociales y registros de interacción social, entre muchos otros, eran tan enormes que las infraestructuras de datos tradicionales simplemente no eran adecuadas para la tarea. Permitieron a las empresas realizar proyectos que antes no se podían hacer. Estuvieron en el corazón del cambio de resolver “problemas de TI” a resolver “problemas de negocio”, y los líderes empresariales comprendieron rápidamente el potencial de estas nuevas tecnologías para ofrecer nuevos servicios, impulsados por datos, a sus clientes. También fueron fundamentales en el proceso de que las empresas tomaran decisiones basadas en datos, en lugar de la intuición de sus ejecutivos. Esto se debe a que hicieron posible que las empresas analizaran todos los datos que estaban recopilando y utilizaran esa información para tomar decisiones.
Por supuesto, hoy en día estas dos compañías enfrentan una tremenda competencia de corporaciones como Amazon y Microsoft. Las empresas tienen una variedad de opciones para manejar y analizar grandes cantidades de datos, especialmente en plataformas de nube pública. También estamos viendo que las empresas quieren pasar a arquitecturas sin servidor, donde una aplicación puede utilizar funcionalidades de backend como servicio y funciones como servicio proporcionadas por terceros. Y aquí está la ventaja adicional: las empresas solo pagan por la potencia informática y el almacenamiento que utilizan. Por lo tanto, ya no se trata solo de Hadoop. El director ejecutivo de Cloudera, Tom Reilly, lo admitió en sus comentarios después de la fusión: “Hadoop ha evolucionado tanto que ni siquiera lo mencionamos”. Este análisis proporciona una visión general de las diferentes opciones disponibles para las empresas en lugar de utilizar Hadoop. Y uno se pregunta, si esta tendencia continúa, ¿cuál será el futuro de la tecnología? Como escribe el autor, “el centro de gravedad se ha desplazado a otro lugar”. Lo que representa este desarrollo es cómo el Big Data ahora se está convirtiendo en simplemente datos. Cada organización, grande o pequeña, ahora tiene acceso a una cantidad y calidad sin precedentes (y más actualizada/en tiempo real) de datos que en cualquier otro momento de la historia. Tienen más opciones tecnológicas para construir servicios utilizando estos datos, y esto es importante porque los diferentes casos de uso (que utilizan diferentes tipos de datos) significan que es posible elegir la tecnología adecuada para lo que se necesita. Por ejemplo, existen numerosas opciones de código abierto, así como plataformas de aprendizaje automático propietarias. Muchas de estas hacen que la tecnología Hadoop, que tiene 10 años, parezca obsoleta.
En resumen, el futuro de Hadoop y Big Data está en constante evolución. A medida que las empresas buscan soluciones más eficientes y rentables para manejar y analizar grandes volúmenes de datos, están explorando opciones más allá de Hadoop. Sin embargo, esto no significa que Hadoop haya perdido su relevancia por completo. Aún hay casos de uso específicos en los que Hadoop sigue siendo una opción viable. Pero es importante reconocer que el panorama de Big Data está cambiando rápidamente y que las empresas deben estar dispuestas a adaptarse y explorar nuevas tecnologías para mantenerse competitivas en el mundo de los datos.
