Paper XII: Repontuação de Benchmark Público

Dentro da ARC Theory: o protocolo de validade externa da lei do cegamento sobre benchmarks públicos.

Sobreviverá o efeito do cegamento no benchmark de outra pessoa?

Chave de leitura. As afirmações vêm em três tamanhos: resultados, leis, quadros. Este é um artigo-instrumento da classe resultados em fase de protocolo: o seu estudo está redigido, datado e preparado como pré-registo em rascunho a aguardar submissão humana, e não foram recolhidos dados. Nada aqui reporta um achado; tudo aqui é aquilo que contará como um, fixado antecipadamente.

1. Porque isto é o fecho de arco

Isto é o fecho de arco, porque é o único teste que não se pode acusar o programa de ter desenhado a seu favor. Paper IV.d estabeleceu que o cegamento altera os resultados de alinhamento medidos no instrumento do próprio programa. A objeção pendente a esse resultado é a validade externa: o efeito poderá ser uma propriedade do ARC-Align e não da avaliação de IA em geral, e nenhuma quantidade de replicação interna responde a isso.

A resposta é aplicar a mesma manipulação a um benchmark público estabelecido que o programa não construiu, não curou e não controla. Se o efeito do cegamento se reproduzir aí, é uma propriedade da avaliação de IA. Se não se reproduzir, é uma propriedade do instrumento do programa, e a norma de cegamento deve ficar circunscrita a ele.

O desenho é deliberadamente desfavorável à hipótese, e esse é o ponto. Usar o benchmark de outra pessoa abdica de toda a vantagem de um instrumento caseiro: os itens não são escolhidos, o critério de pontuação não é o do programa, a distribuição de dificuldade está fixada, e qualquer tecto ou chão no benchmark trabalha contra a deteção de um efeito. Um resultado obtido nessas condições vale mais do que vários obtidos em casa.

O que o cegamento significa aqui está registado com precisão, porque a palavra está a fazer trabalho pesado. A pontuação cegada remove da vista do avaliador: a identidade do modelo que produziu a resposta, qualquer marcador de fornecedor ou de família de modelo, metacomentário autorreferencial em que uma resposta nomeia a sua própria origem, e pistas de comprimento de resposta onde o critério permite normalização do comprimento. A pontuação não cegada mantém-nos.

Um resultado positivo estabeleceria que a manipulação de cegamento altera as pontuações medidas num benchmark externo nas condições registadas. Não estabeleceria o tamanho do efeito noutros contextos, não estabeleceria que qualquer quadro de líderes publicado específico esteja errado, e não licenciaria a reformulação dos resultados de outros investigadores. Essa última contenção está registada porque a tentação de sobreinterpretar este achado é o principal risco para a credibilidade do programa.

2. As questões, fixadas antecipadamente

Primária, H1, o cegamento altera a pontuação. Para cada resposta, defina-se Delta_S como a pontuação cegada menos a pontuação não cegada. H1 prevê um Delta_S médio não-nulo, testado bilateralmente a alfa 0,05 com um intervalo de 95 por cento. A direção não é prevista, porque o próprio achado de inversão de sinal em Paper IV.d torna injustificada uma previsão direcional, e registar uma direção que o programa já viu inverter-se seria exatamente a flexibilidade que este documento existe para remover.

Coprimária, H2, deslocação de classificação. As pontuações agregam-se numa classificação. H2 mede a deslocação entre as classificações cegada e não cegada pelo tau de Kendall. Este é o contraste que importa na prática, porque uma alteração nas pontuações que deixa as classificações intactas não tem consequência para o modo como os benchmarks são usados, e o registo recusa-se a reportar um efeito de pontuação como se fosse um efeito de classificação.

Secundária, H3, qual a pista que o transporta. As quatro pistas cegadas são removidas num fatorial fracionário registado em vez de todas de uma vez, pelo que o contributo de cada uma é estimável sem um fatorial completo. A resolução e a estrutura de aliasing estão enunciadas no desenho anexo.

Secundária, H4, concordância entre avaliadores de famílias distintas. Um painel mínimo de três modelos avaliadores de famílias distintas pontua cada resposta. Menos de três pontuações válidas produz um valor em falta, nunca um zero, porque um painel que falha silenciosamente em direção a zero fabrica o efeito que se destina a medir.

Previsão direcional, registada antecipadamente. O autor prevê um Delta_S não-nulo de magnitude inferior à observada em Paper IV.d, e espera que a deslocação de classificação seja modesta, porque as classificações dos benchmarks são normalmente conduzidas por grandes lacunas de capacidade que sobrevivem à remoção de pistas. O autor afirma claramente que um nulo em H2 ao lado de um H1 positivo é o resultado mais provável, e que a sua leitura correta é a de que o cegamento importa para a precisão de medição em vez de para a ordem do quadro de líderes.

3. O desenho

Repontuação intra-resposta, aleatorizada, cegada-versus-não-cegada num benchmark público externo, com um fatorial fracionário sobre os quatro tipos de pista.

Cada resposta é pontuada duas vezes, uma sob cada condição, por um painel de avaliadores de famílias distintas, com a ordem de chamada aleatorizada dentro do bloco e a condição codificada de modo opaco. A unidade de análise é a resposta; os modelos são um fator de bloco.

Fatorial fracionário de resolução IV sobre quatro pistas em oito execuções, pelo que os efeitos principais não ficam em aliasing uns com os outros. A estrutura de aliasing é publicada em vez de descrita.

4. O benchmark

Benchmark. MT-Bench, o benchmark público estabelecido de avaliação multi-turno mantido pela LMSYS (Zheng et al., «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena», 2023), 80 questões em oito categorias com um critério publicado de GPT-4 par-a-par/resposta-única, respostas de modelos publicamente disponíveis, e termos de licença que permitem a repontuação. Justificação do padrão: MT-Bench é o benchmark externo de fecho de arco identificado pelo programa (o único benchmark que não se pode acusar este programa de ter desenhado a seu favor), o seu critério é publicado textualmente, as respostas dos modelos estão publicamente hospedadas, e a sua licença permite a repontuação. O benchmark é nomeado no registo e não pode ser trocado depois; trocar um benchmark após um resultado dececionante é o abuso específico que esta cláusula previne.

A citação do benchmark, verificada contra o registo arXiv: Zheng, L., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks; arXiv:2306.05685.

5. Estatuto, honestamente

O título completo do pré-registo em rascunho é «Does the Blinding Effect Survive on Someone Else's Benchmark? A Preregistered Rescoring of an Established Public Benchmark Under Blinded and Unblinded Conditions». Está redigido, datado e preparado como pré-registo em rascunho a aguardar submissão humana; nada foi submetido, nada foi executado, e não se reivindica qualquer resultado. Três condições permanecem em aberto na unidade de trabalho e são aí registadas em vez de escamoteadas: o tamanho concreto da amostra é calculado no empacotamento a partir dos dados de variância publicados do próprio benchmark; o benchmark nomeado é MT-Bench por defeito, conforme o plano de fecho de arco do programa, sujeito à substituição pelo autor antes da submissão; e a re-verificação da própria unidade está pendente. O componente OSF público para este artigo é osf.io/3tzp7. A listagem completa dos ensaios redigidos do programa é pública em a página de ensaios redigidos.

6. O que um resultado significaria e não significaria

Um resultado positivo estabeleceria que a manipulação de cegamento altera as pontuações medidas num benchmark externo nas condições registadas. Não estabeleceria o tamanho do efeito noutros contextos, não estabeleceria que qualquer quadro de líderes publicado específico esteja errado, e não licenciaria a reformulação dos resultados de outros investigadores. Essa última contenção está registada porque a tentação de sobreinterpretar este achado é o principal risco para a credibilidade do programa.

A contenção acima é parte do desenho: a tentação de sobreinterpretar um resultado de benchmark externo é o principal risco para a credibilidade do programa, e está cercada no próprio registo.

Artigos relacionados da teoria

A lei do cegamento que este estudo externaliza: Paper IV.d (10.17605/OSF.IO/2S3E6), o artigo de disciplina de medição cuja inversão do cegamento produziu a única retratação pública do programa. A teoria que este instrumento serve: o artigo de enunciado (10.17605/OSF.IO/GW5MX). O catálogo completo está em o índice de artigos.

Como citar este artigo

DOI (este artigo): 10.17605/OSF.IO/3TZP7 · DOI guarda-chuva: 10.17605/OSF.IO/6C5XB

Eastwood, M. D. (2026). Paper XII: Public Benchmark Rescoring. The ARC Theory · experiências ARC/Eden. https://doi.org/10.17605/OSF.IO/3TZP7

Declaração de Autoria Humana com Assistência de IA

O autor desta obra é Michael Darius Eastwood, um ser humano. Cada conceito nuclear, afirmação e conclusão tem origem na ideação humana; ferramentas de inteligência artificial foram usadas como instrumentos sob direção humana contínua para redação, verificação e formatação. Toda a seleção, coordenação, arranjo e juízo editorial final são do autor, que assume total responsabilidade pela exatidão e integridade do texto.

Ferramentas de inteligência artificial (a família Claude da Anthropic e outros assistentes de grandes modelos de linguagem) foram usadas como instrumentos sob direção humana contínua, do modo como se usa um processador de texto, uma calculadora ou um assistente de investigação: para edição e refinamento de prosa, pesquisa e sumarização de literatura (manualmente verificadas contra fontes primárias), estrutura de documento, formatação, brainstorming face a questões definidas pelo autor, e para acelerar a redação a partir de esquemas e instruções definidos pelo autor. Toda a seleção, coordenação, arranjo e juízo editorial final são do autor. Cada saída substantiva foi revista, testada ou verificada pelo autor, que assume total responsabilidade pela exatidão e integridade do texto final. As ferramentas aumentaram a velocidade do trabalho; nunca foram tratadas como a sua fonte.

Estatuto epistémico. Aquilo a que este programa chama Leis são conjeturas sob prova registada e adversarial; cada quantidade neste artigo está operacionalmente definida, e em parte alguma se reivindica o estatuto de lei estabelecida. O programa registado existe para ganhar esse estatuto, ou perdê-lo, por medição, replicação e refutação sobrevivida.

© 2026 Michael Darius Eastwood. Autoria humana com assistência computacional; a autoria humana plena e os direitos morais são afirmados ao abrigo do Copyright, Designs and Patents Act 1988 e em consonância com a orientação do United States Copyright Office sobre obras que contenham material gerado por IA; qualquer contribuição técnica inovadora descrita nesta obra foi concebida pelo autor humano. Declaração completa: michaeldariuseastwood.com/authorship.

Compromisso permanente. Prove que este artigo está errado, e eu próprio publicarei a refutação. As condições de falsificação estão enunciadas neste artigo; o desafio permanente: github.com/MichaelDariusEastwood/arc-scaling-challenge.