En el mundo del big data, no todas las empresas necesitan computación de alto rendimiento (HPC), pero casi todas las que trabajan con big data han adoptado la computación analítica de estilo Hadoop. La diferencia entre HPC y Hadoop puede ser difícil de distinguir porque es posible ejecutar trabajos de análisis de Hadoop en equipos HPC, aunque no al revés.
Tanto HPC como Hadoop utilizan el procesamiento paralelo de datos, pero en un entorno Hadoop/analytics, los datos se almacenan en hardware de bajo costo y se distribuyen en múltiples nodos de este hardware. En HPC, donde el tamaño de los archivos de datos es mucho mayor, el almacenamiento de datos es centralizado. Además, HPC requiere comunicaciones de red más costosas, como Infiniband, debido a que el tamaño de los archivos que procesa requiere un alto rendimiento y baja latencia.
La recomendación para los CIO de las empresas es clara: si pueden evitar HPC y simplemente utilizar Hadoop para sus análisis, háganlo. Es más barato, más fácil de administrar para su personal y incluso puede ejecutarse en la nube, donde otra persona (como un proveedor externo) puede encargarse de ello.
Desafortunadamente, no es posible ser una empresa que utilice exclusivamente Hadoop para muchas compañías e instituciones de ciencias de la vida, meteorología, farmacéutica, minería, medicina, gobierno y académicas que requieren HPC para el procesamiento. Debido al gran tamaño de los archivos y a las necesidades extremas de procesamiento, las comunicaciones de red estándar o la conexión con la nube no son alternativas.
En resumen, HPC es un ejemplo perfecto de una plataforma de big data que se ejecuta mejor internamente en un centro de datos. Por lo tanto, el desafío consiste en cómo usted (y su personal) pueden asegurarse de que el hardware costoso en el que invierten está en las mejores condiciones para hacer el trabajo que necesitan que haga.
Si está considerando la posibilidad de migrar a HPC, aquí hay cuatro pasos que debe seguir:
- Confirme que cuenta con el apoyo de alto nivel para HPC. La alta dirección y la junta directiva no tienen que ser expertos en HPC, pero deben entender y respaldar el hardware, software y la capacitación necesarios para implementarlo. Esto significa que deben estar informados sobre qué es HPC y por qué es diferente de la simple analítica, y por qué es necesario para la empresa utilizar HPC en lugar de la analítica tradicional para cumplir con sus objetivos comerciales. Estos esfuerzos educativos deben ser realizados por el CIO o el CDO.
- Evalúe las necesidades de su empresa. Antes de invertir en HPC, es importante evaluar las necesidades específicas de su empresa y determinar si HPC es la mejor opción. Considere el tamaño de los archivos de datos, las necesidades de procesamiento y las capacidades de su personal para administrar y mantener el hardware y el software de HPC.
- Seleccione el hardware y el software adecuados. Una vez que haya decidido implementar HPC, es importante seleccionar el hardware y el software adecuados para satisfacer las necesidades de su empresa. Considere factores como el rendimiento, la escalabilidad, la confiabilidad y el soporte técnico al elegir su solución de HPC.
- Capacite a su personal. El éxito de la implementación de HPC depende en gran medida del conocimiento y las habilidades de su personal. Asegúrese de proporcionar la capacitación necesaria para que su personal pueda administrar y utilizar eficazmente el hardware y el software de HPC.
En conclusión, la elección entre HPC y Hadoop para el procesamiento de big data depende de las necesidades específicas de su empresa. Si puede evitar HPC y utilizar Hadoop, es una opción más económica y fácil de administrar. Sin embargo, para ciertas industrias y aplicaciones que requieren un procesamiento extremo y un almacenamiento centralizado, HPC es la mejor opción. Asegúrese de evaluar cuidadosamente las necesidades de su empresa y tomar las medidas necesarias para implementar y administrar eficazmente la solución elegida.
