Syncsort recientemente publicó los resultados de su cuarta encuesta anual de Big Data. El proveedor de soluciones de integración de datos encontró que casi 6 de cada 10 organizaciones estaban obteniendo grandes beneficios de Hadoop y Spark. Syncsort encuestó a 200 participantes, incluyendo arquitectos de datos, gerentes de TI, desarrolladores, analistas de inteligencia empresarial/datos y científicos de datos en organizaciones interesadas en Hadoop y Spark. Los participantes representan una amplia gama de industrias verticales como servicios financieros, seguros, salud, gobierno, telecomunicaciones y comercio minorista.

Más de la mitad de los encuestados informaron mayores ingresos y un crecimiento acelerado en comparación con el año pasado, según Syncsort. Además, Hadoop y Spark están ahora en prueba o producción en el 70 por ciento de las organizaciones encuestadas (el 40 por ciento en producción, el 30 por ciento en prueba de concepto o programa piloto). Sin embargo, los encuestados también enfrentan muchos de los mismos desafíos con sus datos, incluyendo mantenerse al día con las tecnologías y productos de software en constante evolución. Syncsort señala que las principales tendencias de los lagos de datos surgieron el año pasado, y la compañía aconseja a los profesionales de datos y análisis que las monitoreen en 2018.

En Solutions Review, hemos leído el informe en su totalidad (disponible aquí) y hemos destacado los tres que consideramos más importantes para observar este año:

1. Inversión en big data sigue en aumento y probablemente lo hará indefinidamente. Aproximadamente 9 de cada 10 encuestados estaban convencidos de que utilizar Hadoop y Spark y alejarse de los sistemas heredados agregaba valor en la creación de ideas a partir de los datos, así como en la reducción de costos. Syncsort cree (y nosotros estamos de acuerdo) que a medida que las organizaciones optimicen sus marcos heredados, se destinarán recursos adicionales a la financiación de proyectos de big data.
2. Mantener los datos “frescos” es un punto doloroso importante. Según el estudio, más de 3 de cada 4 organizaciones encuestadas tienen dificultades para mantener su lago de datos sincronizado con fuentes de datos cambiantes, y aún más cuando la fuente es dispar o difícil de acceder. La mayoría de los casos de uso de los lagos de datos provienen de ETL y análisis de datos (avanzados, predictivos, en tiempo real), lo que significa que la calidad de los datos es de suma importancia. Como resultado, los profesionales de datos y análisis deben prestar más atención para garantizar que los datos estén actualizados y sean frescos, lo cual es un aspecto clave de su estrategia de lago de datos.
3. El cumplimiento normativo es la máxima prioridad. Esto no sorprende mucho dado que el GDPR está a la vuelta de la esquina. El 40 por ciento de los encuestados considera la calidad de los datos como su lucha más significativa. Esto probablemente sea el resultado directo del aumento en el uso de los lagos de datos. Se espera que el alcance de la gobernanza de datos aumente tanto vertical como horizontalmente en los próximos años, ya que las organizaciones deberán darle alta prioridad al cumplimiento normativo. El objetivo final es que las organizaciones tengan una visión amplia de dónde se encuentran sus datos y dónde han estado.

Para obtener más tendencias, desafíos y beneficios del big data, así como un enfoque en cómo la calidad de los datos afecta al lago de datos, asegúrese de leer el informe completo.