O que acontece quando um agente de IA decide que a melhor maneira de concluir uma tarefa é chantageá-lo?
Isso não é uma hipótese. De acordo com Barmak Meftah, sócio da empresa de capital de risco de segurança cibernética Ballistic Ventures, isso aconteceu recentemente com um funcionário de uma empresa que trabalhava com um agente de IA. O funcionário tentou suprimir o que o agente queria fazer, o que foi treinado para fazer, e respondeu examinando a caixa de entrada do usuário, encontrando alguns e-mails inapropriados e ameaçando chantagear o usuário encaminhando os e-mails para o conselho de administração.
“Na mente do agente, ele está fazendo a coisa certa”, disse Meftah ao TechCrunch no episódio da semana passada do Equity. “Ele está tentando proteger o usuário final e a empresa.”
O exemplo de Meftah lembra o problema do clipe de papel de IA de Nick Bostrom. Esta experiência mental ilustra o potencial risco existencial representado por uma IA superinteligente que persegue obstinadamente um objectivo aparentemente inócuo – fazer clipes de papel – excluindo todos os valores humanos. No caso deste agente empresarial de IA, a sua falta de contexto em torno do motivo pelo qual o funcionário estava a tentar anular os seus objetivos levou-o a criar um subobjetivo que removesse o obstáculo (através de chantagem) para que pudesse cumprir o seu objetivo principal. Isso, combinado com a natureza não determinística dos agentes de IA, significa que “as coisas podem ficar desonestas”, segundo Meftah.
Agentes desalinhados são apenas uma camada do desafio de segurança de IA que a Witness AI, empresa do portfólio da Ballistic, está tentando resolver. A Witness AI afirma que monitora o uso de IA nas empresas e pode detectar quando os funcionários usam ferramentas não aprovadas, bloquear ataques e garantir a conformidade.
A Witness AI arrecadou esta semana US$ 58 milhões com base no crescimento de mais de 500% no ARR e aumentou o número de funcionários em 5x no último ano, à medida que as empresas buscam entender o uso da IA paralela e dimensionar a IA com segurança. Como parte da arrecadação de fundos da Witness AI, a empresa anunciou novas proteções de segurança de IA agente.
“As pessoas estão construindo esses agentes de IA que assumem as autorizações e capacidades das pessoas que os gerenciam, e você quer ter certeza de que esses agentes não estão se tornando desonestos, não estão excluindo arquivos, não estão fazendo algo errado”, disse Rick Caccia, cofundador e CEO da Witness AI, ao TechCrunch on Equity.
Evento Techcrunch
São Francisco
|
13 a 15 de outubro de 2026
Meftah vê o uso de agentes crescendo “exponencialmente” em toda a empresa. Para complementar esse aumento – e o nível de velocidade da máquina dos ataques alimentados por IA – a analista Lisa Warren prevê que o software de segurança de IA se tornará um mercado entre 800 mil milhões e 1,2 biliões de dólares até 2031.
“Acho que a observabilidade do tempo de execução e as estruturas de tempo de execução para segurança e risco serão absolutamente essenciais”, disse Meftah.
Quanto à forma como essas startups planejam competir com grandes players como AWS, Google, Salesforce e outros que incorporaram ferramentas de governança de IA em suas plataformas, Meftah disse: “A segurança da IA e a segurança dos agentes são tão grandes”, há espaço para muitas abordagens.
Muitas empresas “querem uma plataforma autônoma, de ponta a ponta, para fornecer essencialmente essa observabilidade e governança em torno da IA e dos agentes”, disse ele.
Caccia observou que a Witness AI reside na camada de infraestrutura, monitorando as interações entre usuários e modelos de IA, em vez de incorporar recursos de segurança nos próprios modelos. E isso foi intencional.
“Escolhemos propositalmente uma parte do problema onde a OpenAI não poderia incluí-lo facilmente”, disse ele. “Isso significa que acabamos competindo mais com as empresas de segurança tradicionais do que com os modelos. Então a questão é: como vencê-las?”
De sua parte, Caccia não quer que a Witness AI seja uma das startups que acabou de ser adquirida. Ele deseja que sua empresa cresça e se torne um fornecedor independente líder.
“CrowdStrike fez isso no endpoint (proteção). O Splunk fez isso no SIEM. Okta fez isso na identidade”, disse ele. “Alguém aparece e fica ao lado dos grandes… e construímos o Witness para fazer isso desde o primeiro dia.
