Con la proliferación de dispositivos IoT y la tecnología inalámbrica rápida 5G que aparece ya en el horizonte, las empresas están avanzando hacia la implementación de infraestructuras basadas en edge. ¿Sabes qué es el almacenamiento computacional?
El almacenamiento computacional es una nueva tecnología de almacenamiento y computa parte de la infraestructura edge. Con el almacenamiento computacional, será posible que las empresas y los proveedores de servicios de telecomunicaciones admitan una gran cantidad de procesamiento de datos, principalmente en los nodos periféricos.
Algunas compañías han comenzado a ofrecer sus soluciones de almacenamiento computacional a empresas y organizaciones. Comprendamos en profundidad el concepto de almacenamiento computacional y cómo está respaldado por las comunidades y los proveedores de tecnología.
La necesidad del almacenamiento computacional
Actualmente, la mayoría de los desarrollos en el dominio de la tecnología se centran en la experiencia de usuario digital en tiempo real con inteligencia. Esto requiere que el centro de datos o la pila de infraestructura estén al más alto nivel de rendimiento, equipados con los últimos recursos de hardware y software y técnicas de procesamiento computacional. IA y Machine Learning, técnicas de análisis se trasladan al centro de datos para hacer que los dispositivos digitales sean más inteligentes.
Como resultado, hemos visto la evolución de muchas nuevas tecnologías de centros de datos para aumentar el rendimiento de éstos. También hemos visto discos duros heredados reemplazados por arreglos SSD basados en flash; el uso de NVMe y FPGA para aumentar el acceso a datos en dispositivos de almacenamiento; el uso de GPU para el centro de datos en gran escala y más.
En general, estamos presenciando la aparición de sistemas de computación de alto rendimiento (HPC) que admiten procesamientos de grandes cantidades de datos.
Esto lleva a dos tipos de demandas graduales a medida que avanzamos hacia la transformación digital. Una, las aplicaciones de IA/ ML y análisis necesitan un acceso más rápido a los datos que los que se proporcionan actualmente a través de los sistemas de almacenamiento tradicionales.
En segundo lugar, las demandas de procesamiento de datos aumentarán continuamente según el crecimiento de la informática IoT y Edge. Además, los enromes datos generados por las redes 5G admitirán exponencialmente los casos de IoT y edge computing.
Aunque un número máximo de centros de datos están equipados con matrices de almacenamiento totalmente flash, las organizaciones se enfrentan a los cuellos de botella para soportar las crecientes demandas de procesamiento de IA/ ML o big data. Es aquí donde entra el almacenamiento computacional.
¿Qué es el almacenamiento computacional y por qué lo necesitamos?
El almacenamiento computacional es una técnica para mover al menos parte del procesamiento más cerca o junto con los dispositivos de almacenamiento. También se le conoce como procesamiento «in situ» o «en almacenamiento».
En general, los datos tienen que moverse entre la CPU y una capa de almacenamiento que causa un retraso en el tiempo de respuesta para las consultas de entrada. La aplicación de almacenamiento computacional es fundamental para abordar los requisitos de procesamiento en tiempo real de IA / ML o aplicaciones analíticas. Podemos alojar aplicaciones informáticas de alto rendimiento dentro del almacenamiento en sí, reduciendo el consumo de recursos y los costes y logrando un mayor rendimiento para aplicaciones sensibles a la latencia. Además, el almacenamiento computacional permite la reducción del consumo de energía por parte de los recursos del datacenter.
La razón principal por la cual el almacenamiento computacional es ventajoso para los centros de datos se debe a una falta de coincidencia entre la capacidad de almacenamiento y el ancho de banda de datos de memoria de la máquina host (enlaces PCI) que están conectados a la CPU. Para comprender cómo se puede causar esta falta de coincidencia en un gran centro de datos, tomemos el ejemplo de Azure en OpenCompute.
El cuello de botella es innegable
En este servidor propuesto, se conectan 64 SSD a un host de CPU a través de enlaces PCI. Como se muestra en el diagrama de bloques del servidor propuesto anteriormente, 64 SSD están conectados a enlaces PCI de 16 líneas. Cada uno de los SSD tiene 16 canales flash para acceso a datos, lo que lleva el ancho de banda de flash interno total a 8.5 GB/ s. Ahora, 64 canales flash están disponibles en 16 SSD, lo que hace que la capacidad de almacenamiento total sea de 544 GB/s. El ancho de banda de los enlaces PCI está limitado a 16 GB/s. Este es un gran desajuste en la ruta de datos a la CPU del host. En tales casos, el procesamiento in situ puede aplicarse para que las aplicaciones más críticas de alto rendimiento se trasladen a SSD.
Estándares de SNIA y desarrollo de mercado
Una comunidad de almacenamiento global, SNIA, ha formado un Grupo de trabajo técnico de almacenamiento computacional (TWG) para promover la interoperabilidad de los dispositivos de almacenamiento computacional. También para definir estándares de interfaz para la implementación, aprovisionamiento, la administración y la seguridad del sistema.
El TWG incluye compañías de productos de almacenamiento como Arm, Eideticom, Inspur, Lenovo, Micron Technology, NetApp, NGD Systems, Samsung Electronics, ScaleFlux, SK Hynix, Western Digital Corporation y Xilinx.
SNIA ha definido los siguientes tres estándares para implementar este tipo de almacenamiento en cualquier tipo de servidor.
- Unidad de almacenamiento computacional (CSD): Un componente que proporciona almacenamiento persistente de datos y servicios computacionales.
- Procesador de almacenamiento computacional (CSP): un componente que proporciona servicios computacionales a un sistema de almacenamiento sin proporcionar almacenamiento persistente.
- Matriz de almacenamiento computacional (CSA): Una colección de unidades de almacenamiento computacional, procesadores de almacenamiento computacional y/o dispositivos de almacernamiento.
Conclusión
Los estándares de almacenamiento computacional serán una gran adición teniendo en cuenta la creciente demanda de datos de proceso a través de aplicaciones informáticas. Este tipo de procesamiento integrado en el almacenamiento vendrá junto con diferentes formas y enfoques basadas en NVMe.