De acordo com o benchmarking interno, uma pontuação do Google Model, lançada recentemente, mais baixa em testes de segurança do que o antecessor. Em um relatório divulgado nesta semana pelo Google, a empresa revelou que o Gemini 2.5 Flash é mais provável do que o Gemini 2 Flash de produzir texto que não adere às suas diretrizes de segurança. O Gemini Flash tem uma regressão de 4,1% em “segurança de texto para texto” e 9,6% em “segurança de imagens-totext”. Ambos os testes são automatizados, não supervisionados pelo homem. Ambos os testes são automatizados, não supervisionados pelo homem.
Em uma declaração por e-mail, um porta-voz do Google confirmou que o Gemini 2.5 Flash “tem um desempenho pior na segurança de texto para texto e imagem para texto”.
Esses resultados surpreendentes de referência surgem à medida que as empresas de IA se movem para tornar seus modelos mais permissivos – em outras palavras, menos propensos a se recusar a responder a assuntos controversos ou sensíveis. O mais recente modelo de lhama da Meta foi ajustado para não endossar certas visões e responder a “instruções políticas debatidas”. O Openai disse no início deste ano que ajustaria futuros modelos para não adotar uma postura editorial e oferecer várias perspectivas sobre tópicos controversos.
Às vezes, esses esforços de permissividade saíram pela culatra. O TechCrunch revelou segunda -feira que o modelo padrão do OpenAi ChatGPT permitiu aos menores a capacidade de ter conversas em erotica. Openai culpou o comportamento por um “bug”.
De acordo com o relatório técnico do Google, o Gemini 2.5 Flash, que ainda está em pré -visualização, segue as instruções de maneira mais fiel do que o Gemini 2.0 Flash, incluindo instruções que cruzam linhas problemáticas. Ele afirma que as regressões são devidas a “falsos positivos”, mas admite que o flash Gemini 2.5 às vezes pode produzir “conteúdo violento”, mesmo quando solicitado.
Evento do TechCrunch
Berkeley, CA.
|
5 de junho
Reserve agora
“Naturalmente, há tensão entre
Sobre tópicos sensíveis e violações da política de segurança, que se refletem em nossas avaliações “, lê o relatório. As pontuações do SpeechMap, uma referência que mede como os modelos reagem a instruções controversas e sensíveis, mostram que o flash de geminia -flash é menos provável do que o REPLATION DE GEMINI 2.00 REPUSAR para responder a questões contenciosas. Juízes com IA, enfraquecendo as proteções do devido processo nos EUA e implementando programas generalizados de vigilância do governo.
Thomas Woodside, co-fundador do projeto de IA seguro, disse que os detalhes limitados que o Google concedeu em seu relatório técnico demonstra a necessidade de mais transparência nos testes de modelo.
“Há uma troca entre seguidores de instruções e seguidores de políticas, porque alguns usuários podem pedir conteúdo que viole as políticas”, disse Woodside à TechCrunch. Nesse caso, o mais novo modelo flash do Google segue melhor as instruções ao violar mais a política. O Google não fornece muitos detalhes sobre instâncias específicas em que as políticas foram violadas. No entanto, eles afirmam que eram menores. Sem saber mais, é difícil para analistas independentes saber se há um problema. “(Instruções a seguir) O Google foi criticado por suas práticas de relatórios de segurança para modelos antes. Levou semanas para a empresa divulgar um relatório sobre seus Gemini 2.5 Pro, que é um de seus modelos mais poderosos. O relatório foi publicado inicialmente sem detalhes -chave dos testes de segurança. Google publicou um relatório detalhado sobre segunda -feira com as informações de segurança.
Fuente
