El especialista en datos e IA contribuirá con nuevas funciones y mejoras de Delta Lake a la Fundación Linux. Databricks anuncia importantes colaboraciones en proyectos estrella de código abierto.
Databricks ha anunciado varias contribuciones nuevas a proyectos de código abierto de IA y datos populares, incluidos Delta Lake, ML flow y Apache Spark. En su Data + AI Summit, el especialista en datos e IA dijo que contribuirá con todas las funciones y mejoras que ha realizado en Delta Lake a la Fundación Linux.
También hará que todas las API de Delta Lake sean de código abierto como parte de su versión Delta Lake 2.0. Eso significa que la comunidad de código abierto se beneficiará de la funcionalidad completa y el rendimiento mejorado del ecosistema Delta Lake 2.0. Esto permitirá la creación de lagos de datos de alto rendimiento en estándares abiertos. El candidato de lanzamiento de Delta Lake 2.0 ya está disponible, y se espera un lanzamiento completo a finales de este año.
Databricks anuncia importantes colaboraciones en proyectos estrella de código abierto
La firma también anunció la próxima iteración del proyecto de aprendizaje automático de código abierto MLflow 2.0. Este introduce las canalizaciones de MLflow en la plataforma. La adición tiene como objetivo reducir sustancialmente el tiempo de producción y mejorar la ejecución a escala a través de la estandarización.
MLflow Pipelines ofrece a los científicos de datos plantillas predefinidas y listas para la producción basadas en el tipo de modelo que están creando. Esto les permite iniciar y acelerar el desarrollo del modelo sin necesidad de la intervención de los ingenieros de producción.
Además, Databricks reveló su nuevo Spark Connect, que permitirá el uso del motor de análisis de datos unificado Spark en prácticamente cualquier dispositivo. También Project Lightspeed, un motor Spark de transmisión estructurada de próxima generación para la transmisión de datos en la plataforma Lakehouse.
“Desde el principio, Databricks se ha comprometido con los estándares abiertos y la comunidad de código abierto”, comentó Ali Ghodsi, cofundador y director ejecutivo de Databricks. “Hemos creado, contribuido, fomentado el crecimiento y donado algunas de las innovaciones más impactantes en la tecnología moderna de código abierto».
“Los lagos de datos abiertos se están convirtiendo rápidamente en el estándar de cómo las empresas más innovadoras manejan sus datos e IA. Delta Lake, MLflow y Spark son fundamentales para esta transformación arquitectónica, y estamos orgullosos de hacer nuestra parte para acelerar su innovación y adopción”.
Databricks también presentó varias innovaciones para su plataforma Lakehouse en la cumbre Data + AI. Las nuevas capacidades incluyen rendimiento y funcionalidad de almacenamiento de datos, control de datos ampliado y nuevas innovaciones para compartir datos que incluyen Databricks Marketplace y Data Cleanrooms para una colaboración de datos segura.
También hay una optimización automática de costos para las operaciones de ETL. Además, encontramos mejoras en el ciclo de vida del aprendizaje automático para «simplificar radicalmente» los MLOps a escala de producción. “Los anuncios de hoy son un importante paso adelante en el avance de nuestra visión de Lakehouse, ya que estamos haciendo que sea más rápido y más fácil que nunca maximizar el valor de los datos, tanto dentro como entre empresas”, dijo Ghodsi.