Hace más de una década, The Economist nos advirtió que pronto nos ahogaríamos en datos. Desde entonces, el mundo del Big Data ha evolucionado y se ha convertido en una solución para lidiar con esta inundación de información. Empresas emergentes de Silicon Valley como Snowflake, Databricks y Confluent han liderado el desarrollo de herramientas de almacenamiento y procesamiento de datos a gran escala. Hoy en día, cualquier emprendedor puede registrarse en BigQuery o Snowflake y tener una solución de datos que se pueda adaptar al crecimiento de su negocio en cuestión de horas.
El surgimiento de soluciones de almacenamiento de datos baratas, flexibles y escalables fue en gran medida una respuesta a las necesidades cambiantes impulsadas por la explosión masiva de datos. Actualmente, el mundo produce 2.5 quintillones de bytes de datos diariamente (un quintillón tiene 18 ceros). La explosión de datos continúa en los “locos años 20”, tanto en términos de generación como de almacenamiento. Se espera que la cantidad de datos almacenados se duplique al menos cada cuatro años.
Sin embargo, a pesar de los avances en infraestructura de datos, todavía existe una parte integral que carece de soluciones adecuadas para la era del Big Data y sus desafíos: el monitoreo de la calidad de datos y la validación de datos. Permítanme explicar cómo llegamos a este punto y los desafíos que enfrentamos en cuanto a la calidad de datos.
El dilema entre valor y volumen del Big Data se planteó en 2005, cuando Tim O’Reilly publicó su artículo innovador “¿Qué es Web 2.0?”. Ese mismo año, Roger Mougalas de O’Reilly introdujo el término “Big Data” en su contexto moderno, refiriéndose a un conjunto de datos tan grande que es virtualmente imposible de gestionar y procesar utilizando herramientas tradicionales de inteligencia empresarial.
En 2005, uno de los mayores desafíos con los datos era manejar grandes volúmenes de información, ya que las herramientas de infraestructura de datos eran costosas e inflexibles, y el mercado de la nube todavía estaba en sus primeras etapas (AWS no se lanzó públicamente hasta 2006). La otra dificultad era la velocidad: antes del lanzamiento de Redshift en 2012, realizar análisis relativamente sencillos podía llevar mucho tiempo, incluso con conjuntos de datos de tamaño mediano.
Desde entonces, se ha creado todo un ecosistema de herramientas de datos para mitigar estos dos problemas. Antes, escalar bases de datos relacionales y dispositivos de almacenamiento de datos era todo un desafío. Hace apenas 10 años, una empresa que quería comprender el comportamiento del cliente tenía que comprar y configurar servidores antes de que sus ingenieros y científicos de datos pudieran trabajar en la generación de ideas. Los datos y su infraestructura eran costosos, por lo que solo las grandes empresas podían permitirse la ingestión y el almacenamiento de datos a gran escala.
En resumen, el Big Data ha revolucionado la forma en que manejamos y procesamos la información. Sin embargo, a medida que la cantidad de datos continúa creciendo exponencialmente, surge el desafío de garantizar la calidad de los datos y su validez. En futuros artículos, exploraremos las soluciones actuales y las tendencias emergentes en el campo de la calidad de datos en la era del Big Data.
