Numa experiência recente, a Anthropic criou um mercado classificado onde agentes de IA representavam compradores e vendedores, fechando negócios reais por bens reais e dinheiro real.
A empresa admitiu que este teste – que chamou de Project Deal – foi apenas “um experimento piloto com um grupo de participantes autosselecionados” de 69 funcionários da Anthropic que receberam um orçamento de US$ 100 (pagos por meio de cartões-presente) para comprar coisas de seus colegas de trabalho.
No entanto, a Anthropic disse que ficou “impressionada com o quão bem o Project Deal funcionou”, com 186 negócios feitos, totalizando mais de US$ 4.000 em valor.
A empresa disse que na verdade administrava quatro mercados separados com modelos diferentes – um que era “real” (onde todos eram representados pelo modelo mais avançado da empresa e com negócios realmente honrados após o experimento) e outros três para estudo.
Aparentemente, quando os usuários são representados por modelos mais avançados, eles obtêm “resultados objetivamente melhores”, disse a Anthropic. Mas os usuários não pareceram notar a disparidade, levantando a possibilidade de “lacunas de ‘qualidade do agente’”, onde “as pessoas que estão perdendo podem não perceber que estão em pior situação”.
Além disso, as instruções iniciais dadas aos agentes não pareciam afetar a probabilidade de venda ou os preços negociados.
