Microsoft lanza la herramienta de código abierto Counterfit para evitar el hackeo de la IA

Microsoft lanza la herramienta de código abierto Counterfit para evitar el hackeo de la IA

Las empresas pueden con esto utilizar algoritmos de ataque precargados para probar sus sistemas de machine learning. Microsoft lanza la herramienta de código abierto Counterfit para evitar el hackeo de la IA.

Los de Redmond han lanzado una herramienta de código abierto para ayudar a los desarrolladores a evaluar la seguridad de sus sistemas de aprendizaje automático.

El proyecto Counterfit, ahora disponible en GitHub, comprende una herramienta de línea de comandos y una capa de automatización genérica. Con esto se permite a los desarrolladores simular ciberataques contra sistemas de IA.

Un equipo de Microsoft ha utilizado Counterfit para probar sus propios modelos de IA. Mientras tanto, la empresa en general también está explorando el uso de la herramienta de desarrollo de IA.

Microsoft lanza la herramienta de código abierto Counterfit para evitar el hackeo de la IA

Cualquiera puede descargar la herramienta e implementarla a través de Microsoft Azure Shell. Con esto, podría ejecutarse en el navegador o localmente en un entorno Anaconda Python.

Se pueden evaluar modelos de IA alojados en varios entornos de nube, en las instalaciones o en el perímetro. Microsoft también promovió su flexibilidad al destacar el hecho de que es independiente de los modelos de IA y también admite una gran variedad de tipos de datos, incluidos texto, imágenes o entrada genérica.

«Nuestra herramienta hace que los algoritmos de ataque publicados sean accesibles para la comunidad de seguridad. Ayuda a proporcionar una interfaz extensible desde la cual construir, adminsitrar y lanzar ataques a modelos de IA», dijo Microsoft.

«Esta herramienta es parte de los esfuerzos más amplios de Microsoft para capacitar a los ingenieros para que desarrollen e implementen de forma segura sistemas de inteligencia artificial».

Microsoft lanza la herramienta de código abierto Counterfit para evitar el hackeo de la IA

Las tres formas clave en que los profesionales de la seguridad pueden implementar Counterfit son mediante pruebas de penetración y sistemas de inteligencia artificial. Escanean sistemas de IA en busca de vulnerabilidades y registran ataques contra esos modelos de inteligencia artificial.

La herramienta viene precargada con algoritmos de ataque, mientras que los profesionales de seguridad también pueden usar el motor de scripting CMD2 incorporado. Con él, se pueden conectar a Counterfit desde herramienta ofensivas existentes con fines de prueba.

Una herramienta Open Source

Opcionalmente, las empresas pueden escanear los sistemas de IA con ataques relevantes X cantidad de veces para crear líneas de base. Lo pueden hacer con ejecuciones continuas a medida que se abordan las vulnerabilidades. Esto ayuda a medir el progreso continuo.

Microsoft desarrolló la herramienta debido a la necesidad de evaluar sus propios sistemas en busca de vulnerabilidades. Counterfit comenzó su vida como un puñado de scripts de ataque escritos para apuntar a modelos de IA individuales, y gradualmente evolucionó hasta convertirse en una herramienta de automatización para atacar múltiples sistemas a escala.

La compañía afirma que está comprometida con una variedad de socios, clientes y entidades gubernamentales para probar la herramienta con modelos de aprendizaje automático en sus propios entornos.

0 0 votes
Article Rating
Subscribe
Notify of
guest
0 Comments
Inline Feedbacks
View all comments

Relacionados

Tendencias

Más leídos

Se habla de..

0
Would love your thoughts, please comment.x
()
x