El Machine Learning y el data science está muy a la orden del día y no es precisamente un paseo por la pradera, sin embargo, Netflix quiere racionalizar este arduo trabajo con una nueva plataforma de libre acceso.
El gigante tecnológico anunció hace unos días que Polynote se convertiría en open source, un entorno portátil de programación en varios idiomas que se integra con Apache Spark y que ofrece un sólido soporte para Scala, python y SQL.
Netflix se abre al Open Source
En una publicación del blog, Netflix dijo que Polynote, que ha tenido una adopción «sustancial» entre sus equipos de personalización y recomendación, fue diseñado para permitir que los científicos de datos e investigadores de IA integren el marco del aprendizaje automático basado en JVM de Netflix con las bibliotecas de machine learning y visualización Python. Ya está disponible de forma gratuita en Polynote.org y GitHub.
«En el equipo de infraestructura de personalización de Netflix, nuestro trabajo es acelerar la innovación del aprendizajee automático mediante la creación de herramientas que puedan eliminar los puntos débiles y permitir a los investigadores centrarse en la investicación. polynote se originó de una frustracion con las deficiencias de las herramientas de notebook existentes, especialmente respecto con su apoyo a Scala», dijo la compañía. «En Netflix, siempre nos sentimos fuertemente interesados en compartir con la comunidad de código abierto y creemos que Polynote tiene un gran potencial para abordar las necesidades similares fuera de Netflix.«
¿Qué hace Polynote?
Para los menos entendidos, la «notebook execution» es un registro de una pieza de código particular ejecutada en un entorno particular en un punto del tiempo particular, todo ello en un entorno determinados. Es una colección ordenada de celdas, cada una de las cuales puede contener código o texto y modificarse y ejecutarse de modo independiente.
La novedosa función de reproducibilidad de Polynote toma en cuenta las posiciones de las celdas antes de ejecutarlas, lo que ayuda a prevenir mala praxis que dificulte la ejecución desde el principio. Además, incluye características similares a un entorno de desarrollo integrado, incluyendo el autocompletado interactivo y las sugerencias de parámetros, además de un editor de texto enriquecido con soporte para el sistema de composición tipográfica LaTeX.
Como su nombre indica, Polynote es un sistema políglota, lo que significa que cada celda de un cuaderno se puede escribir en un idioma distinto, con variables compartidas entre ellas ya que el kernel propporciona los valores de entrada mecanografiados disponibles al intérprete de lenguaje de la celda, que a su vez proporciona los valores de salida mecanografiados resultantes al kernel.
Además, Polynote proporciona configuración de dependencia guardada en el «notebook» en sí, al mismo tiempo que permite la exploración de datos con matplotlib (una biblioteca de trazado 2D de Python) y la gramática de visualización de Vega.
«Hay mucho trabajo emocionante por delante. Somos muy optimistas cobre el potencial de Polynote y esperamos aprender de la comunidad tanto como esperamos que encuentren valor en Polynote».