Los desarrolladores que utilizan asistentes de programación con IA, como GitHub Copilot, tienen más probabilidades de introducir vulnerabilidades de seguridad en la mayoría de las tareas de programación.
Investigadores de la Universidad de Stanford plantearon a los programadores una serie de tareas de codificación en distintos lenguajes de programación. Los desarrolladores se dividieron en dos grupos:
- los que utilizaron la herramienta de programación de OpenAI
- y los que sólo utilizaron sus propios conocimientos del lenguaje
Conocimientos de los desarrolladores
A los participantes se les asignaron seis tareas divididas entre lenguajes como Python, Javascript y C. Los resultados de las tareas relacionadas con el cifrado preocuparon especialmente a los investigadores, ya que, en una de ellas, sólo el 67% de los que utilizaron el asistente de IA produjeron código correcto y seguro, frente al 79% de los que confiaron únicamente en sus propios conocimientos.
Aunque los participantes eran más propensos a introducir vulnerabilidades de seguridad si tenían acceso a un asistente de IA, los investigadores de Stanford también descubrieron que eran más propensos a calificar de seguras sus respuestas inseguras en comparación con los que no utilizaban la tecnología de IA.
Productividad de los desarrolladores
También se planteó la cuestión de la productividad de los desarrolladores. Por ejemplo, los que utilizaban asistentes de IA eran menos propensos a buscar en la documentación del lenguaje para protegerse de implementaciones de código poco seguras.
Sus conclusiones señalaban que esto era «preocupante, dado que varias de las vulnerabilidades de seguridad, que observaron, tenían que ver con la selección o el uso inadecuado de bibliotecas».
«En general, nuestros resultados sugieren que, si bien los asistentes de código de IA pueden reducir significativamente la barrera de entrada para los no programadores y aumentar la productividad de los desarrolladores, pueden proporcionar a los usuarios inexpertos una falsa sensación de seguridad»
señalaron desde la Universidad de Stanford.
«Al publicar los datos de los usuarios, esperamos informar a los futuros diseñadores y creadores de modelos para que no solo tengan en cuenta los tipos de vulnerabilidades presentes en los resultados de modelos como el Codex de OpenAI, sino también la variedad de formas en que los usuarios pueden elegir interactuar con un asistente de código de IA»
Más conclusiones sobre el estudio
Los participantes que dedicaron más tiempo a perfeccionar sus consultas al asistente de IA, incluso cambiando los parámetros, tenían más probabilidades de proporcionar finalmente soluciones más seguras. Los investigadores concluyeron que los que confiaban menos en la IA y se comprometían más con el lenguaje y el formato de sus indicaciones eran más propensos a proporcionar un código seguro.
Un inconveniente del estudio es que en el experimento sólo se utilizaron estudiantes universitarios, lo que significa que la conclusión extraída puede no ser directamente aplicable a quienes tienen años de experiencia profesional, señalaron los investigadores, ya que quienes trabajan en la industria pueden tener más experiencia en seguridad.
En cualquier caso, los resultados ponen de relieve la necesidad de ser cautos a la hora de confiar demasiado en este tipo de herramientas de IA, especialmente cuando se trabaja en proyectos de gran valor, a pesar de que la comunidad de desarrolladores las acoja favorablemente.
GitHub Copilot: Productividad Vs Seguridad
GitHub ha afirmado anteriormente que su propio programador con la ayuda de IA, GitHub Copilot, mejora la productividad de los desarrolladores, según su propia encuesta, que reveló que el 88% de los desarrolladores son más productivos cuando utilizan la herramienta de IA.
La plataforma de codificación también afirmó que Copilot mejora la felicidad de los desarrolladores, ya que les permite permanecer en un flujo de desarrollo durante más tiempo, así como resolver problemas más complejos. Herramientas competidoras como Facebook InCoder y Codex, esta última utilizada en el estudio de Stanford, reciben un apoyo significativo por parte de los desarrolladores que las utilizan.
Sin embargo, la actual implementación de programadores con ayuda de IA se puso en tela de juicio después de que GitHub se viera afectado por una demanda colectiva en noviembre de 2022, en la que se afirmaba que GitHub Copilot está cometiendo piratería de software, ya que se entrena a partir de repositorios disponibles públicamente en la plataforma de GitHub.
En la demanda se alegaba que se habían violado los derechos legales de los creadores, ya que habían publicado código o trabajado bajo diversas licencias de código abierto en la plataforma.