En la era de los datos masivos, la forma en que procesamos y almacenamos la información se ha vuelto cada vez más importante. Anteriormente, el procesamiento por lotes (batch) era la norma, pero ahora estamos viendo un cambio hacia el procesamiento en tiempo real (streaming). En un reciente artículo, Justin Langseth, fundador y CEO de Zoomdata, una startup de visualización de datos masivos, comparte su visión sobre el ascenso de Kafka y por qué las empresas deberían considerar adoptar el procesamiento de datos en tiempo real.

Langseth argumenta que todos los datos se generan originalmente en un punto en el “borde” y se transmiten en un flujo para su procesamiento y almacenamiento posterior. En el extremo de la generación y en el extremo del consumo, se requiere una orientación hacia el flujo de datos. Entonces, ¿por qué debería haber algo en el medio que no sea basado en flujo?

El procesamiento por lotes se desarrolló originalmente porque hace miles de años, un escriba en un mercado se quedó sin espacio en su pergamino y necesitaba comenzar uno nuevo. Cuando surgieron las computadoras, la única forma de transportar datos era enviarlos por correo en cintas, y si vas a hacer eso, es más eficiente hacerlo con más de un registro a la vez. Así nació el procesamiento por lotes.

Según Langseth, Hadoop representa el último suspiro del procesamiento por lotes. Hay muchas razones por las cuales es más fácil, rápido y seguro manejar todo el proceso de datos de extremo a extremo en tiempo real. Si tienes procesos de negocio y datos valiosos en un sistema basado en lotes, claramente no deberías desecharlos de un día para otro. Pero si estás construyendo algo nuevo hoy en día, existen argumentos sólidos para evitar cualquier paso por lotes y simplemente transmitir los datos de extremo a extremo.

El futuro del procesamiento de datos está en el streaming. A medida que la tecnología avanza y las demandas de los negocios cambian, es importante estar al tanto de las últimas tendencias en el procesamiento de datos. El streaming permite tomar decisiones basadas en datos más recientes y en su contexto histórico, lo que puede ser crucial para el éxito de una empresa.

En resumen, el procesamiento de datos en tiempo real está ganando terreno frente al procesamiento por lotes. Si bien el procesamiento por lotes todavía tiene su lugar en ciertos casos, es importante considerar la adopción del procesamiento en tiempo real para aprovechar al máximo los datos y tomar decisiones más informadas.