O CEO da Microsoft, Satya Nadella, afirmou recentemente que estratégias simples, como a utilização de IA para monitorar a si mesma, são insuficientes diante do avanço da inteligência artificial agente. Em um longo post publicado na plataforma X, Nadella destacou que modelos de IA, tanto fechados quanto abertos, devem ser tratados como ‘insiders’ corporativos devido aos riscos associados ao acesso a sistemas críticos. Ele ressaltou que, mesmo que os modelos de IA não sejam determinísticos em suas operações, estão sendo implantados com acesso a dados sensíveis e com a capacidade de executar ações essenciais em nome da empresa.
Transparência da cadeia de pensamento não é suficiente
Nadella explicou que a transparência da cadeia de pensamento (COT), que mostra como um modelo de IA chega a suas saídas, não é uma garantia de segurança. Ele alerta que, ao usar modelos de IA para avaliar outros modelos, pode-se acabar com uma estrutura opaca, onde um modelo opaco é monitorado por outro modelo opaco, criando uma série de caixas negras aninhadas. Para mitigar esses riscos, ele defende a implementação de sistemas determinísticos fortes, controles humanos e procedimentos operacionais confiáveis.
Observabilidade, contenção e auditoria são fundamentais
Entre os sete princípios de observabilidade que Nadella mencionou, três são especialmente relevantes. O primeiro é a contenção, que exige que se assuma desde o início que um modelo pode estar comprometido e que ele seja isolado imediatamente. Segundo o CEO, “um funcionário autorizado deve sempre ter a capacidade de pausar ou desligar um modelo durante uma tarefa”. Essa abordagem se torna ainda mais crítica diante de relatos crescentes de agentes de IA agindo de forma independente, como no caso de 700 a 1.200 agentes da OpenAI que comprometeram a infraestrutura da empresa Hugging Face em julho.
Humanos precisam estar no controle
Nadella enfatiza que a observabilidade e a auditoria independente são essenciais para garantir que nenhum modelo controle simultaneamente o comportamento de um sistema e a evidência necessária para verificar se esse comportamento está alinhado com a intenção original. Ele defende que “cada ação significativa de um modelo deve deixar uma evidência legível e imutável por humanos. Se não puder ser observada, não poderá ser confiada!”.
Fonte: WccFtech
