En los últimos 10-15 años, ha habido un aumento significativo en la densidad, tamaño y diversidad de los datos científicos generados en todas las disciplinas científicas del mundo. Uno de los campos clave en este crecimiento ha sido la explosión de tecnologías de laboratorio que generan grandes cantidades de datos en la investigación de ciencias de la vida y la salud. Ahora se almacenan grandes cantidades de datos en espacios de almacenamiento muy grandes, con poca o ninguna organización y una preocupación general sobre cómo abordar su análisis. La implementación de prácticas efectivas de gestión de datos es fundamental para permitir el descubrimiento en medio de esta gran carga de datos.
La promesa y la exageración de los Grandes Datos hace unos años, impulsada en gran medida por una avalancha de campañas de marketing poderosas de organizaciones que se beneficiarían de las ventas asociadas con el concepto, llevó a una transformación en la forma en que se realizaba la investigación en muchas disciplinas científicas. De repente, la práctica de diseñar experimentos para obtener solo los datos más relevantes cambió al sentimiento general de que los investigadores deberían recopilar toda la información, independientemente de su relevancia directa. Los Grandes Datos prometieron permitir descubrimientos asistidos por computadora que no podrían anticiparse mediante una planificación cuidadosa de los experimentos, sugiriendo que los humanos por sí solos no eran capaces de hacer los descubrimientos del siglo XXI. Algoritmos bien diseñados, plataformas de análisis y una gran cantidad de potencia informática producirían nuevos descubrimientos que no formaban parte de las hipótesis originales. Los Grandes Datos impulsaron la plausibilidad de esta forma de investigación generadora de hipótesis. Por primera vez en la historia humana, la promesa de la informática científica y la capacidad de encontrar pistas en los datos que de otra manera serían inencontrables, crearon una revolución en la forma en que se hacía la investigación. Recopilar la mayor cantidad de datos posible sobre un tema, guardarlos todos, analizarlos en conjunto, encontrar la aguja en el pajar, publicar, obtener beneficios, repetir. Este nuevo paradigma alimentó el impulso para desarrollar y lanzar instrumentos que pudieran recopilar más datos en una gran variedad de ensayos, y hacerlo con el menor costo posible. En el área de las ciencias de la vida, esto condujo a avances en la secuenciación genómica de próxima generación (NGS), sistemas de captura de imágenes más potentes y automatizados en microscopios basados en luz, nuevos detectores en resonancias magnéticas y microscopios electrónicos, y tasas de generación de datos de varios TB/día por laboratorio. Cuando se consolidan todos los laboratorios de una gran organización de investigación, la producción de datos a nivel de 2PB de datos por semana se convierte en una realidad actual. Estas mismas instituciones también han informado de la acumulación de más de 200PB de datos y su crecimiento en ese período de tiempo.
El manejo y análisis de grandes volúmenes de datos se ha convertido en un desafío para los científicos y los investigadores. La capacidad de almacenar y organizar eficientemente estos datos es esencial para poder aprovechar todo su potencial. Además, se requieren algoritmos y plataformas de análisis avanzados para extraer información valiosa de estos conjuntos de datos masivos.
En conclusión, los Grandes Datos han revolucionado la forma en que se realiza la investigación científica. Han permitido descubrimientos que antes eran impensables y han abierto nuevas posibilidades en diversas disciplinas científicas. Sin embargo, también plantean desafíos en términos de gestión y análisis de datos. Es fundamental que los científicos y los investigadores desarrollen habilidades en el manejo de grandes volúmenes de datos y utilicen herramientas y técnicas avanzadas para aprovechar al máximo esta nueva era de la ciencia de datos.
