Paper XII: Neubewertung öffentlicher Benchmarks
Innerhalb der ARC Theory: das Protokoll zur externen Gültigkeit des Verblindungsgesetzes an öffentlichen Benchmarks.
Überlebt der Verblindungseffekt an einem Benchmark, der einer anderen gehört?
Leseschlüssel. Behauptungen kommen in drei Größen: Ergebnisse, Gesetze, Rahmen. Dies ist ein Instrumentenpapier der Ergebnisklasse im Protokollstadium: seine Studie ist geschrieben, datiert und als Entwurfsregistrierung vorbereitet, die auf menschliche Einreichung wartet, und es sind keine Daten erhoben worden. Nichts hier meldet einen Befund; alles hier ist das, was im Voraus festgelegt als Befund zählen wird.
Zusammenfassung. Paper IV.d hat festgestellt, dass Verblindung die gemessenen Alignment-Ergebnisse am eigenen Instrument des Programms verändert. Der stehende Einwand ist die externe Gültigkeit: Der Effekt könnte eine Eigenschaft von ARC-Align sein und nicht der KI-Bewertung im Allgemeinen. Dieses Protokollpapier legt im Voraus den einen Test fest, dem das Programm nicht vorwerfen werden kann, er sei zu seinem eigenen Vorteil entworfen worden: dieselbe Verblindungsmanipulation, angewandt auf einen etablierten öffentlichen Benchmark, den das Programm weder gebaut noch kuratiert noch kontrolliert hat. Verblindete Bewertung entfernt die Identität, die Anbieter- und Familienmarkierungen des produzierenden Modells, selbstreferenzielle Meta-Kommentare und Längenhinweise; unverblindete Bewertung belässt sie. Die registrierten Fragen sind, ob Verblindung die Punktzahl verändert (H1, die Differenz Delta_S pro Antwort, Richtung nach der Vorzeichenumkehr in IV.d bewusst nicht registriert), ob sich Ranglisten verschieben (H2, Kendall tau), welcher Hinweis den Effekt trägt (H3, ein registriertes fraktionelles Faktorial-Design) und die Übereinstimmung von familienübergreifenden Bewertenden (H4, ein Gremium aus mindestens drei Modellen, wobei weniger als drei gültige Punktzahlen als fehlend gelten, niemals als null). Die registrierte Vorhersage ist ein Delta_S ungleich null von geringerem Betrag als in IV.d beobachtet, mit mäßiger Rangverschiebung, und das genannte wahrscheinlichste Ergebnis ist ein positives H1 neben einem null H2, gelesen als: Verblindung ist für die Messgenauigkeit von Bedeutung und nicht für die Ordnung auf der Rangliste. Dies ist ein Protokoll im Registrierungsstadium: Es sind keine Daten erhoben worden, und nichts hier meldet einen Befund.
1. Warum dies der Schlussstein ist
Dies ist der Schlussstein, denn es ist der eine Test, dem man dem Programm nicht vorwerfen kann, er sei zu seinem eigenen Vorteil entworfen worden. Paper IV.d hat festgestellt, dass Verblindung die gemessenen Alignment-Ergebnisse am eigenen Instrument des Programms verändert. Der stehende Einwand gegen dieses Ergebnis ist die externe Gültigkeit: Der Effekt könnte eine Eigenschaft von ARC-Align sein und nicht der KI-Bewertung im Allgemeinen, und keine Menge interner Replikation beantwortet das.
Die Antwort besteht darin, dieselbe Manipulation an einem etablierten öffentlichen Benchmark durchzuführen, den das Programm nicht gebaut, nicht kuratiert und nicht kontrolliert. Reproduziert sich der Verblindungseffekt dort, ist er eine Eigenschaft der KI-Bewertung. Ist das nicht der Fall, ist er eine Eigenschaft des Instruments des Programms, und der Verblindungsstandard sollte auf dieses eingegrenzt werden.
Das Design ist der Hypothese absichtlich ungünstig, und das ist der Punkt. Den Benchmark eines anderen zu verwenden verwirkt jeden Vorteil eines Heim-Instruments: Die Items sind nicht ausgewählt, die Bewertungsvorschrift ist nicht die des Programms, die Schwierigkeitsverteilung liegt fest, und jede Decke oder jeder Boden im Benchmark arbeitet gegen die Erkennung eines Effekts. Ein unter diesen Bedingungen erzieltes Ergebnis ist mehr wert als mehrere zu Hause erzielte.
Was Verblindung hier bedeutet, ist präzise registriert, denn das Wort trägt schwere Last. Verblindete Bewertung entfernt aus dem Blick des Bewertenden: die Identität des Modells, das die Antwort erzeugt hat, jede Anbieter- oder Modellfamilienmarkierung, selbstreferenzielle Meta-Kommentare, in denen eine Antwort ihre eigene Herkunft benennt, und Längenhinweise der Antwort, wo die Vorschrift eine Längennormalisierung erlaubt. Unverblindete Bewertung belässt sie.
Ein positives Ergebnis würde belegen, dass die Verblindungsmanipulation gemessene Punktzahlen an einem externen Benchmark unter den registrierten Bedingungen verändert. Es würde die Größe des Effekts anderswo nicht belegen, würde nicht belegen, dass irgendeine bestimmte veröffentlichte Rangliste falsch ist, und würde nicht dazu berechtigen, die Ergebnisse anderer Forschender umzuformulieren. Diese letzte Zurückhaltung ist registriert, weil die Versuchung, diesen Befund überzuinterpretieren, das Hauptrisiko für die Glaubwürdigkeit des Programms ist.
2. Die Fragen, im Voraus festgelegt
Primär, H1, Verblindung verändert die Punktzahl. Für jede Antwort ist Delta_S definiert als verblindete Punktzahl minus unverblindete Punktzahl. H1 sagt einen mittleren Delta_S ungleich null vorher, zweiseitig getestet bei alpha 0,05 mit einem 95-Prozent-Intervall. Die Richtung wird nicht vorhergesagt, denn der eigene Befund einer Vorzeichenumkehr in Paper IV.d macht eine gerichtete Vorhersage ungerechtfertigt, und eine Richtung zu registrieren, die das Programm bereits umkehren sah, wäre genau die Flexibilität, die dieses Dokument beseitigen soll.
Ko-primär, H2, Rangverschiebung. Die Punktzahlen aggregieren zu einer Rangliste. H2 misst die Verschiebung zwischen verblindeten und unverblindeten Ranglisten mittels Kendall tau. Dies ist der praktisch entscheidende Kontrast, denn eine Änderung der Punktzahlen, die die Ranglisten unberührt lässt, hat keine Konsequenz dafür, wie Benchmarks verwendet werden, und die Registrierung weigert sich, einen Punktzahl-Effekt so zu berichten, als wäre er ein Ranglisten-Effekt.
Sekundär, H3, welcher Hinweis ihn trägt. Die vier verblindeten Hinweise werden in einem registrierten fraktionellen Faktorial-Design entfernt statt alle auf einmal, sodass der Beitrag jedes einzelnen ohne vollständiges Faktorial schätzbar ist. Auflösung und Aliasing-Struktur sind im beigefügten Design angegeben.
Sekundär, H4, Übereinstimmung familienübergreifender Bewertender. Ein familienübergreifendes Bewertungsgremium aus mindestens drei Modellen bewertet jede Antwort. Weniger als drei gültige Punktzahlen ergeben einen fehlenden Wert, niemals eine Null, denn ein Gremium, das stumm gegen null versagt, fabriziert den Effekt, den es messen soll.
Gerichtete Vorhersage, im Voraus registriert. Der Autor sagt ein Delta_S ungleich null von geringerem Betrag als in Paper IV.d beobachtet vorher und erwartet, dass die Rangverschiebung mäßig ausfällt, denn Ranglisten von Benchmarks werden gewöhnlich von großen Fähigkeitslücken getragen, die eine Entfernung von Hinweisen überleben. Der Autor stellt klar fest, dass ein Null-Befund bei H2 zusammen mit einem positiven H1 das wahrscheinlichste Ergebnis ist und dass dessen richtige Lesart lautet: Verblindung ist für die Messgenauigkeit von Bedeutung und nicht für die Ordnung auf der Rangliste.
3. Das Design
Innerhalb-der-Antwort, randomisiert, verblindet-versus-unverblindete Neubewertung an einem externen öffentlichen Benchmark, mit einem fraktionellen Faktorial-Design über die vier Hinweistypen.
Jede Antwort wird zweimal bewertet, einmal unter jeder Bedingung, durch ein familienübergreifendes Bewertungsgremium, mit innerhalb Block und Bedingung randomisierter Aufrufreihenfolge und undurchsichtig kodierter Bedingung. Die Analyseeinheit ist die Antwort; die Modelle sind ein Blockfaktor.
Fraktionelles Faktorial-Design der Auflösung IV über vier Hinweise in acht Läufen, sodass die Haupteffekte untereinander nicht aliast sind. Die Aliasing-Struktur wird veröffentlicht statt beschrieben.
4. Der Benchmark
Benchmark. MT-Bench, der von LMSYS gepflegte etablierte öffentliche Mehrfach-Turn-Evaluationsbenchmark (Zheng et al., „Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena“, 2023), 80 Fragen in acht Kategorien mit einer veröffentlichten GPT-4-Vorschrift für paarweise und Einzelantwort-Bewertungen, öffentlich verfügbare Modellantworten und Lizenzbedingungen, die Neubewertung erlauben. Begründung der Voreinstellung: MT-Bench ist der vom Programm identifizierte Schlussstein-Benchmark (der eine Benchmark, dem man dem Programm nicht vorwerfen kann, er sei zu seinem eigenen Vorteil entworfen worden), seine Vorschrift ist wörtlich veröffentlicht, Modellantworten sind öffentlich gehostet, und seine Lizenz erlaubt Neubewertung. Der Benchmark ist in der Registrierung benannt und kann nachträglich nicht ausgetauscht werden; das Austauschen eines Benchmarks nach einem enttäuschenden Ergebnis ist genau der Missbrauch, den diese Klausel verhindert.
Die gegen den arXiv-Eintrag verifizierte Zitierung des Benchmarks: Zheng, L., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks; arXiv:2306.05685.
5. Status, ehrlich
Der vollständige Titel der Entwurfsregistrierung lautet „Does the Blinding Effect Survive on Someone Else’s Benchmark? A Preregistered Rescoring of an Established Public Benchmark Under Blinded and Unblinded Conditions“. Sie ist entworfen, datiert und als Entwurfsregistrierung vorbereitet, die auf menschliche Einreichung wartet; nichts ist eingereicht, nichts ist gelaufen, und kein Ergebnis wird beansprucht. Drei Bedingungen bleiben an der Arbeitsversion offen und sind dort verzeichnet statt überglättet: die konkrete Stichprobengröße wird bei der Paketierung aus den vom Benchmark selbst veröffentlichten Varianzdaten berechnet; der genannte Benchmark ist gemäß dem Schlussstein-Plan des Programms auf MT-Bench voreingestellt, vorbehaltlich einer Übersteuerung durch den Autor vor Einreichung; und die Re-Verifikation der Einheit selbst steht noch aus. Die öffentliche OSF-Komponente für dieses Papier ist osf.io/3tzp7. Die vollständige Auflistung der entworfenen Studien des Programms ist öffentlich unter der Seite der entworfenen Studien.
6. Was ein Ergebnis bedeuten würde und was nicht
Ein positives Ergebnis würde belegen, dass die Verblindungsmanipulation gemessene Punktzahlen an einem externen Benchmark unter den registrierten Bedingungen verändert. Es würde die Größe des Effekts anderswo nicht belegen, würde nicht belegen, dass irgendeine bestimmte veröffentlichte Rangliste falsch ist, und würde nicht dazu berechtigen, die Ergebnisse anderer Forschender umzuformulieren. Diese letzte Zurückhaltung ist registriert, weil die Versuchung, diesen Befund überzuinterpretieren, das Hauptrisiko für die Glaubwürdigkeit des Programms ist.
Die Zurückhaltung oben ist Teil des Designs: Die Versuchung, ein Ergebnis eines externen Benchmarks überzuinterpretieren, ist das Hauptrisiko für die Glaubwürdigkeit des Programms, und sie ist in der Registrierung selbst eingezäunt.
Verwandte Papers der Theorie
Das Verblindungsgesetz, das diese Studie externalisiert: Paper IV.d (10.17605/OSF.IO/2S3E6), das Papier der Messdisziplin, dessen Verblindungsumkehr die eine öffentliche Rücknahme des Programms hervorbrachte. Die Theorie, der dieses Instrument dient: das Aussagepapier (10.17605/OSF.IO/GW5MX). Der vollständige Katalog ist unter dem Papers-Index.
Wie dieses Papier zu zitieren ist
DOI (dieses Papier): 10.17605/OSF.IO/3TZP7 · Umbrella-DOI: 10.17605/OSF.IO/6C5XB
Eastwood, M. D. (2026). Paper XII: Public Benchmark Rescoring. The ARC Theory · ARC/Eden experiments. https://doi.org/10.17605/OSF.IO/3TZP7
Erklärung zur KI-unterstützten menschlichen Autorschaft
Der Autor dieses Werks ist Michael Darius Eastwood, ein Mensch. Jedes Kernkonzept, jede Behauptung und jede Schlussfolgerung entspringt menschlicher Ideation; Werkzeuge der künstlichen Intelligenz wurden als Instrumente unter fortwährender menschlicher Anleitung für Entwurf, Verifikation und Formatierung eingesetzt. Alle Auswahl, Koordination, Anordnung und das abschließende redaktionelle Urteil liegen beim Autor, der die volle Verantwortung für die Genauigkeit und Integrität des Textes übernimmt.
Werkzeuge der künstlichen Intelligenz (Anthropics Claude-Familie und andere Assistenten großer Sprachmodelle) wurden als Instrumente unter fortwährender menschlicher Anleitung eingesetzt, so wie ein Textverarbeitungsprogramm, ein Taschenrechner oder eine Forschungsassistentin eingesetzt wird: für Bearbeitung und Prosa-Verfeinerung, Literaturrecherche und Zusammenfassung (manuell gegen Primärquellen verifiziert), Dokumentstruktur, Formatierung, Brainstorming gegen vom Autor definierte Fragen und für die Beschleunigung des Entwurfs entlang vom Autor definierter Gliederungen und Anweisungen. Alle Auswahl, Koordination, Anordnung und das abschließende redaktionelle Urteil liegen beim Autor. Jede substantielle Ausgabe wurde vom Autor überprüft, getestet oder verifiziert, der die volle Verantwortung für die Genauigkeit und Integrität des endgültigen Textes übernimmt. Die Werkzeuge erhöhten die Geschwindigkeit der Arbeit; sie wurden nie als deren Quelle herangezogen.
Epistemischer Status. Was dieses Programm Gesetze nennt, sind Vermutungen unter registrierter adversarieller Prüfung; jede Größe in diesem Papier ist operational definiert, und ein Status als etabliertes Gesetz wird an keiner Stelle beansprucht. Das registrierte Programm existiert, um diesen Status zu verdienen oder ihn zu verlieren, durch Messung, Replikation und überstandene Widerlegung.
© 2026 Michael Darius Eastwood. Von Menschen verfasst mit Computerunterstützung; volle menschliche Autorschaft und Persönlichkeitsrechte werden geltend gemacht nach dem Copyright, Designs and Patents Act 1988 und in Übereinstimmung mit den Leitlinien des United States Copyright Office zu Werken, die KI-erzeugtes Material enthalten; jeder in diesem Werk beschriebene neuartige technische Beitrag wurde vom menschlichen Autor konzipiert. Vollständige Erklärung: michaeldariuseastwood.com/authorship.
Stehender Bund. Beweise, dass dieses Papier falsch ist, und ich werde die Widerlegung selbst veröffentlichen. Falsifikationsbedingungen sind in diesem Papier angegeben; die stehende Herausforderung: github.com/MichaelDariusEastwood/arc-scaling-challenge.