Más

    Microsoft lanza la herramienta de código abierto Counterfit para evitar el hackeo de la IA

    Las empresas pueden con esto utilizar algoritmos de ataque precargados para probar sus sistemas de machine learning. Microsoft lanza la herramienta de código abierto Counterfit para evitar el hackeo de la IA.

    Los de Redmond han lanzado una herramienta de código abierto para ayudar a los desarrolladores a evaluar la seguridad de sus sistemas de aprendizaje automático.

    El proyecto Counterfit, ahora disponible en GitHub, comprende una herramienta de línea de comandos y una capa de automatización genérica. Con esto se permite a los desarrolladores simular ciberataques contra sistemas de IA.

    Un equipo de Microsoft ha utilizado Counterfit para probar sus propios modelos de IA. Mientras tanto, la empresa en general también está explorando el uso de la herramienta de desarrollo de IA.

    Microsoft lanza la herramienta de código abierto Counterfit para evitar el hackeo de la IA

    Cualquiera puede descargar la herramienta e implementarla a través de Microsoft Azure Shell. Con esto, podría ejecutarse en el navegador o localmente en un entorno Anaconda Python.

    Se pueden evaluar modelos de IA alojados en varios entornos de nube, en las instalaciones o en el perímetro. Microsoft también promovió su flexibilidad al destacar el hecho de que es independiente de los modelos de IA y también admite una gran variedad de tipos de datos, incluidos texto, imágenes o entrada genérica.

    «Nuestra herramienta hace que los algoritmos de ataque publicados sean accesibles para la comunidad de seguridad. Ayuda a proporcionar una interfaz extensible desde la cual construir, adminsitrar y lanzar ataques a modelos de IA», dijo Microsoft.

    «Esta herramienta es parte de los esfuerzos más amplios de Microsoft para capacitar a los ingenieros para que desarrollen e implementen de forma segura sistemas de inteligencia artificial».

    Microsoft lanza la herramienta de código abierto Counterfit para evitar el hackeo de la IA

    Las tres formas clave en que los profesionales de la seguridad pueden implementar Counterfit son mediante pruebas de penetración y sistemas de inteligencia artificial. Escanean sistemas de IA en busca de vulnerabilidades y registran ataques contra esos modelos de inteligencia artificial.

    La herramienta viene precargada con algoritmos de ataque, mientras que los profesionales de seguridad también pueden usar el motor de scripting CMD2 incorporado. Con él, se pueden conectar a Counterfit desde herramienta ofensivas existentes con fines de prueba.

    Una herramienta Open Source

    Opcionalmente, las empresas pueden escanear los sistemas de IA con ataques relevantes X cantidad de veces para crear líneas de base. Lo pueden hacer con ejecuciones continuas a medida que se abordan las vulnerabilidades. Esto ayuda a medir el progreso continuo.

    Microsoft desarrolló la herramienta debido a la necesidad de evaluar sus propios sistemas en busca de vulnerabilidades. Counterfit comenzó su vida como un puñado de scripts de ataque escritos para apuntar a modelos de IA individuales, y gradualmente evolucionó hasta convertirse en una herramienta de automatización para atacar múltiples sistemas a escala.

    La compañía afirma que está comprometida con una variedad de socios, clientes y entidades gubernamentales para probar la herramienta con modelos de aprendizaje automático en sus propios entornos.

    Comentarios

    En breve activaremos los comentarios.

    Relacionados

    Más leídos

    ¿Qué es el Internet de las Cosas Industrial? El concepto de Internet de las Cosas, o como se le conoce por sus siglas, IoT, abarca...
    Los usuarios ahora pueden denunciar correos electrónicos de phishing con un solo clic. El NCSC simplifica la herramienta de notificación de estafas de Outlook. El...
    La empresa es un especialista en soluciones de semiconductores de infraestructura. Marvell Technology da un nuevo impulso a los centros de datos con la...

    Se habla de..

    Artículos relacionados