Avaliação Duplo-Cega de Modelos de IA sem Revelar Prompts

Sim, um modelo de IA já pode ser avaliado sem entregar prompts de teste confidenciais ao proprietário do modelo nem pesos proprietários ao avaliador — ao menos em um piloto real. O Google DeepMind colocou o Gemini 2.5 Flash Lite e prompts privados de benchmark dentro de um único ambiente de GPU criptograficamente verificado, permitindo que apenas resultados aprovados saíssem. O custo bruto de computação segura fica em torno de $7.08 por hora nas tarifas Spot atuais de Iowa. A linha cara é de pessoas: o relatório técnico do DeepMind afirma que a coordenação jurídica e a revisão de código, e não a sobrecarga de hardware, são hoje o principal gargalo. Isso transforma a avaliação confidencial de uma conversa de confiança em um projeto de garantia com escopo e orçamento definidos.

Sim, mas isto é um piloto, não um produto pronto

A resposta prática é sim, com limites. O piloto do Google DeepMind de 27 de agosto demonstra que uma organização externa pode testar um modelo fechado mantendo dois ativos valiosos isolados:

• O avaliador mantém em segredo do proprietário do modelo os prompts de benchmark, as regras de pontuação e os casos de falha.
• O proprietário do modelo mantém em segredo do avaliador os pesos do modelo e o código de inferência, o maquinário central do sistema.

Pesos do modelo são os números aprendidos que codificam seu comportamento. Um benchmark privado é a folha de prova. Entregar qualquer um dos dois pode destruir valor. Um benchmark vazado pode virar material de treinamento, inflando pontuações posteriores sem que o modelo realmente melhore. Pesos expostos podem vazar propriedade intelectual e capacidades que o proprietário tem fortes motivos para resguardar.

Pense no piloto como uma sala de exames selada com duas portas. O modelo entra por uma porta. O teste entra pela outra. Antes de qualquer lado abrir a sua, ambos inspecionam um certificado assinado comprovando qual sala, travas e regras estão em vigor. O teste roda lá dentro. A sala emite um placar combinado e depois desaparece.

O piloto usou o Google Cloud Confidential Space, uma Confidential VM a3-highgpu-1g, proteção de memória Intel TDX, uma GPU confidencial NVIDIA H100 80GB e o software PySyft da OpenMined. Um enclave seguro é simplesmente essa sala selada implementada em hardware: a memória é criptografada durante a execução e um atestado assinado permite que ambas as partes chequem qual software está dentro antes de liberarem qualquer dado.

Isso não é disponibilidade geral. O anúncio e o relatório técnico descrevem um primeiro piloto, não um serviço self-service de avaliação, um preço publicado ou uma data de lançamento.

Como funciona a avaliação duplo-cega na prática

A criptografia importa, mas o fluxo fica mais simples de entender dividido em cinco aprovações.

1. 1

   Alinhar a interface

   O proprietário do modelo publica uma interface simulada (mock). O avaliador pode preparar seu código de teste contra essa casca sem receber o modelo real. Ambos os lados também acordam o que a avaliação pode calcular e quais métricas finais podem sair.

2. 2

   Inicializar a sala selada

   Uma das partes inicia um ambiente de GPU confidencial com o sistema operacional aprovado, o runtime e o contêiner PySyft. Hospedar a máquina dá a essa parte o poder de desligá-la, não o poder de inspecionar os segredos da outra parte.

3. 3

   Verificar a integridade da sala

   Cada lado confere o atestado remoto, uma impressão digital assinada da pilha de hardware e software. Os dados só são liberados quando essas medições batem com a configuração esperada e são frescas para aquela execução.

4. 4

   Carregar e aprovar

   O proprietário do modelo transmite pesos criptografados e código de inferência para o enclave. O avaliador envia prompts criptografados e código de avaliação por um canal separado. Ambos revisam os caminhos de código permitidos e autorizam a execução.

5. 5

   Executar, liberar, apagar

   O enclave executa a avaliação do modelo, libera apenas o resultado autorizado pela política de saída e é desmontado. As chaves temporárias de criptografia de memória desaparecem quando o ambiente para.

O piloto do DeepMind executou duas avaliações privadas. Uma usou prompts de reserva do benchmark AILuminate da MLCommons em ameaças como ciberataques, conteúdo CBRNE, discurso de ódio, automutilação e incitação a crimes violentos. Outra usou um conjunto de conteúdo nocivo focado em Singapura, fornecido pelo Singapore AISI. A AVERI cuidou da criptografia e descriptografia de prompts e saídas e colocou sua equipe para avaliar esses resultados.

Esse último detalhe faz toda a diferença. Duplo-cego não significa que ninguém vê nada. O avaliador conhece o próprio teste e pode receber saídas do modelo. A promessa é mais restrita e muito mais útil: o proprietário do modelo não recebe o teste confidencial, o avaliador não recebe os pesos e o ambiente de nuvem é limitado por hardware e políticas explícitas.

A linha de orçamento da avaliação de modelos de ia que muda

A avaliação confidencial não deve ser comprada como mais uma licença de observabilidade de modelos. Seu lugar é em diligência de fornecedores, risco de modelos, garantia de segurança ou contratações reguladas.

As ferramentas rotineiras de avaliação mostram o orçamento tradicional de software. O Braintrust lista o plano Pro por $249 por mês. O LangSmith lista o plano Plus a $39 por usuário por mês; assim, cinco assentos custam $195 por mês antes do consumo. Esses produtos ajudam o time a rodar e estruturar testes normais. São âncoras de preço, não substitutos para uma auditoria duplo-cega.

A infraestrutura segura é surpreendentemente legível. O Google Cloud afirma que o Confidential Space não adiciona taxa separada. Em Iowa, o preço Spot consultado para a máquina a3-highgpu-1g do piloto é de $6.636703068 por hora, e a taxa adicional de computação confidencial é de $0.4391592. Juntos, somam cerca de $7.08 por hora, ou $70.76 para uma janela de dez horas, antes de armazenamento e rede.

O relatório cita menos de 5% de sobrecarga computacional na arquitetura de enclaves e aponta o atrito processual e a coordenação humana como o gargalo primário. Essa é a consequência comercial direta: computação ficou barata o suficiente para orçar; arquitetura de confiança, não.

Um orçamento útil precisa de cinco linhas: honorários do avaliador, integração do proprietário do modelo, infraestrutura de enclave, acordo jurídico e revisão de código e política de saída. Se uma proposta traz apenas horas de GPU, não é um plano de auditoria. Se traz apenas horas de consultoria, pergunte por que a camada de execução confidencial ficou de fora.

Sete casos de uso, organizados por retorno financeiro

1. Empresas reguladas comprando um modelo fechado

Bancos, seguradoras ou grupos hospitalares têm o caso de negócio mais evidente. A equipe de compras pode apresentar casos de falha reais baseados em políticas e processos internos. O fornecedor entra com o modelo candidato proprietário. Um avaliador independente roda o teste e entrega um relatório delimitado, sem que nenhum lado abra mão de seu ativo principal.

O retorno é comprovação sólida antes de assumir contratos plurianuais. O comprador testa as situações críticas para o negócio em vez de depender só de placares públicos. O fornecedor evita enviar pesos ou reter dados confidenciais de clientes que prefere não armazenar.

2. Institutos nacionais de segurança e proteção de IA

Órgãos governamentais de teste podem isolar prompts cibernéticos, biológicos, de manipulação ou restritos a jurisdições fora dos servidores do laboratório, sem abrir mão de avaliar modelos de fronteira fechados. Esse cenário reflete a configuração real do piloto, no qual o Singapore AISI contribuiu com um banco privado de conteúdos nocivos.

O retorno é maior longevidade para os benchmarks e fiscalização técnica confiável. O teste secreto continua útil por vários lançamentos, pois o risco de contaminar os dados de treino diminui drasticamente.

3. Mantenedores independentes de benchmarks

Criadores de benchmarks podem resguardar seus casos mais difíceis, expor apenas uma interface mock e rodar modelos de diferentes fornecedores no mesmo ambiente atestado. Eles publicam resultados agregados mantendo os prompts específicos sob sigilo.

O retorno é a preservação da escassez do benchmark. A entidade avalia múltiplos modelos fechados sem abrir mão do conjunto de dados que sustenta seu valor. A parte complexa passa a ser a política de saída, pois resultados detalhados demais podem revelar o conteúdo do teste indiretamente.

4. Laboratórios de IA buscando garantia externa confiável

Criadores de modelos podem permitir que avaliadores respeitados testem checkpoints privados sem exportar o arquivo do checkpoint. O avaliador traz o conjunto de desafios, ambas as partes validam o ambiente e o relatório resultante respalda revisões corporativas ou relatórios de segurança.

O retorno é credibilidade externa sem transferência de pesos brutos. Isso é essencial quando a avaliação via API comum exporia os prompts do avaliador à infraestrutura padrão do provedor.

5. Equipes de defesa cibernética testando capacidades ofensivas

Operadores de infraestrutura crítica podem checar se um modelo consegue descobrir, encadear ou explicar vetores de ataque sensíveis usando prompts que nunca devem virar base de treino do fornecedor. O modelo continua protegido e o teste permanece restrito ao programa de segurança.

O retorno é uma decisão de adoção mais realista com menor risco de vazamento de prompts. O processo ainda requer sandbox e regras rígidas de saída. A execução confidencial não torna saídas perigosas seguras para liberação irrestrita.

6. Redes de saúde validando comportamento clínico especialista

Grupos de pesquisa hospitalar podem criar baterias privadas com casos reais anonimizados e avaliar modelos fechados sem injetar esses dados em APIs comerciais comuns. A pontuação pode priorizar recusa ética, escalonamento e fundamentação técnica em vez de solicitar diagnósticos em texto livre.

O retorno é validação atrelada às diretrizes da instituição sem expor casos clínicos nem o modelo proprietário. Leis de privacidade, validação médica e governança continuam obrigatórias. O enclave é um controle técnico, não um selo automático de conformidade.

7. Auditoria técnica em fusões, aquisições e parcerias

Um comprador avaliando uma startup de IA pode rodar fluxos de trabalho privados da sala de negociação contra o modelo proprietário da empresa-alvo. Um avaliador neutro executa os testes acordados e entrega um relatório restrito aos interessados autorizados.

O retorno é menor exposição antes do fechamento do negócio e menor dependência de demonstrações comerciais preparadas. O custo operacional direciona o modelo para transações estratégicas ou parcerias de plataforma relevantes, não para prospecções superficiais.

Três produtos que valem a pena construir

1. Laboratório de compras de modelos privados (a melhor oportunidade)

Construa um serviço gerenciado onde compradores regulados fornecem testes de aceitação confidenciais, o fornecedor entra com o modelo fechado e o sistema devolve um dossiê com atestado criptográfico. O cliente típico é o Chief Risk Officer, a equipe de risco de modelos, lideranças de segurança ou compras corporativas definindo um fornecedor estratégico.

O sinal de demanda no mercado global é concreto: a busca por ai governance platform registra 1,600 pesquisas mensais nos EUA, com lances de topo de página entre $27.92 e $71.51. Esse termo também cresceu 307% ano a ano nos dados de sugestão. Compradores corporativos procuram ferramentas de governança. Um laboratório de contratação transforma essa necessidade ampla em uma decisão auditável de alto valor.

A menor versão vendável envolve um modelo, uma bateria privada de testes, métricas pré-aprovadas, uma rodada atestada e um relatório executivo pronto para o conselho. Comece como serviço com software cuidando do intake e das evidências. O obstáculo real é a confiança: isso exige segurança corporativa, avaliadores respeitados, domínio de nuvem, minutas jurídicas sólidas e uma reputação que dashboards não conseguem simular.

2. Painel de controle de atestados para avaliações de IA

Desenvolva uma plataforma que transforme hashes, nonces, identidades de imagem, aprovações de políticas e recibos de execução em um registro de auditoria navegável. Os clientes são empresas de avaliação ou laboratórios de IA que já operam computação segura, mas não querem transformar cada auditoria em um projeto artesanal de criptografia.

O termo confidential computing movimenta 880 buscas mensais nos EUA com CPC de $30.80. É um público menor do que o de governança genérica, mas altamente técnico e com orçamentos substanciais. O objetivo final do DeepMind é criar um sinal de confiança direto que esconda a complexidade de chaves e hashes de dependências.

O MVP valida o padrão do Google Cloud Confidential Space, registra o consentimento de ambas as partes, vincula o processo à imagem de software mensurada e exporta o manifesto assinado da execução. O gargalo é a dependência de nuvem e hardware: suportar outro stack de enclave não é como adicionar um conector comum; isso altera a raiz de confiança, os formatos de atestado e os modos de falha.

3. Plataforma de troca para benchmarks selados

Crie um marketplace onde proprietários de benchmarks listam o que seus testes medem sem expor os itens, e fornecedores de modelos contratam execuções atestadas que retornam apenas métricas aprovadas. Os criadores de benchmarks monetizam seus acervos sem repassar os prompts. Os fornecedores obtêm métricas independentes sem abrir mão dos pesos.

O volume de busca para ai model evaluation soma 140 consultas mensais nos EUA, KD 0 e crescimento anual de 200%. Não é um volume massivo, mas justifica uma entrada focada no mercado enterprise B2B, onde o produto comercializa acesso de alta fidelidade em vez de licenças baratas.

O MVP precisa de um parceiro de benchmark, um fornecedor de modelo, uma imagem de enclave e uma política de saída clara. O risco principal é a extração por repetição: com consultas suficientes e métricas muito detalhadas, é possível reconstruir o benchmark. Limites de taxa, granularidade dos resultados e governança de dados são recursos fundamentais do produto, não meras cláusulas contratuais.

O laboratório de compras é o modelo mais viável para começar, pois resolve uma dor já orçada pelas empresas: aprovar, reprovar ou renegociar contratos de modelos. As outras duas frentes representam infraestrutura valiosa, mas demandam um ecossistema maduro para demonstrar valor evidente.

O que essa capacidade não resolve

O piloto prova que o sigilo mútuo é viável na prática. Ele não torna a avaliação automática, barata no total nem independente de intermediários confiáveis.

• Não é um serviço self-service. O DeepMind não divulgou data de disponibilidade geral nem tabela de preços.
• Demonstrou apenas um modelo fechado em uma única H100. O relatório técnico aponta clusters confidenciais multi-nó de H100 ou B200 como trabalho futuro para modelos de grande porte.
• Não é 100% livre de confiança (trustless). A arquitetura assume que provedores de nuvem e fabricantes de chips não agem em conluio. Firmwares proprietários continuam integrando a base de confiança.
• O Google continua no caminho de verificação. O piloto dependeu das assinaturas e verificações do Google, e as compilações convidadas não puderam ser reproduzidas de forma independente porque chaves privadas de assinatura eram entradas do processo.
• Partes do código do modelo permaneceram opacas. A equipe técnica não conseguiu tornar todos os métodos proprietários inspecionáveis ou colocá-los em allowlists. A AVERI aceitou essa limitação durante o piloto.
• Um teste ruim rodado em segredo continua sendo um teste ruim. O enclave resguarda o sigilo dos prompts e a integridade da computação. Ele não atesta se o benchmark avalia os critérios certos nem se a nota se traduz em desempenho real em produção.
• As saídas exigem governança própria de privacidade. Métricas granulares demais podem vazar o conteúdo dos prompts ou peculiaridades do modelo. Ambas as partes precisam aprovar o que pode ser liberado antes do início do teste.
• O custo humano permanece elevado. O relatório confirma que minutas jurídicas, auditorias de código e alinhamentos entre múltiplas partes formam o gargalo principal.

Para equipes escolhendo ferramentas hoje, o guia sobre ferramentas de auditoria de benchmarks aborda o ecossistema convencional de software. A avaliação duplo-cega atua um degrau acima, quando os modelos, os testes ou ambos são críticos demais para APIs convencionais.

Minha visão é direta: trata-se de um modelo de garantia técnica inovador e viável, não de uma categoria de produto pronta para contratação via página de preços. Seus primeiros compradores serão organizações tomando decisões de alto risco sobre modelos de fundação, onde o valor de uma resposta confiável supera o custo de coordenação.

O movimento prático para segunda-feira

Se você lidera compras de IA, risco de modelos ou segurança cibernética, selecione uma decisão técnica prevista para os próximos 30 dias. Redija um resumo de avaliação privada em uma página contendo: o modelo sob análise, uma categoria crítica de falha, quem detém os prompts, quem detém os pesos, qual métrica tem autorização para sair do ambiente e qual decisão operacional essa métrica vai orientar.

Em seguida, solicite a um avaliador e ao fornecedor do modelo orçamentos separados para cinco linhas: integração técnica, honorários de avaliação, acordo jurídico, revisão de código e política de saída e infraestrutura confidencial. Trate o valor de cerca de $7.08 por hora de GPU apenas como referência de computação pura. O objetivo é explicitar os custos reais de garantia, em vez de assumir que uma janela de dez horas em VM de $71 cobre o projeto inteiro.

Evite começar criando uma plataforma genérica. Demonstre que uma avaliação selada altera concretamente uma decisão de compra, homologação ou lançamento. A partir desse resultado, você terá o caso de negócio pronto para estruturar um programa contínuo.

Como avaliar o desempenho de um modelo de IA?

Comece pela decisão de negócio que a avaliação precisa embasar e crie casos de teste isolados que representem essa tarefa real. Defina métricas e limites de reprovação antes de rodar o modelo, garanta a separação estrita entre dados de treino e teste e registre versão do modelo, ambiente, prompts, código de pontuação e política de liberação de dados. Use arquiteturas duplo-cegas quando expor o teste ou o modelo trouxer riscos aos envolvidos.

O que é um avaliador de modelos de IA?

Pode se referir a um profissional especialista, uma entidade independente ou um software encarregado de confrontar o modelo com critérios e regras pré-definidas. No piloto do DeepMind, organizações externas forneceram os testes sob sigilo e analisaram as saídas, enquanto os pesos do modelo permaneceram isolados dentro do ambiente atestado.

O que a avaliação de modelos mede na prática?

Ela mensura acurácia na tarefa, alinhamento de segurança, qualidade nas recusas de comandos nocivos, robustez, alucinação, vieses, latência, consumo de recursos ou qualquer outro parâmetro relevante para produção. O enclave seguro apenas resguarda quem tem acesso ao teste e ao modelo; ele não valida sozinho se a métrica escolhida é a correta.

O que é um prompt de teste para modelos de IA?

É uma entrada formulada para testar uma capacidade ou induzir um comportamento de falha sob condições controladas. Um prompt de teste eficaz conta com um critério objetivo de pontuação e integra um conjunto retido ao qual o modelo nunca foi exposto no treinamento. Em testes confidenciais, ele também pode embutir regras de negócios, cenários de ameaça ou conhecimento restrito que não devem ser revelados ao fornecedor.

Se você precisa de um fluxo privado de avaliação de modelos desenhado sob medida para suas decisões técnicas, evidências e limites de confiança, conheça os sistemas de IA para produção.