| # FrontierLLMHarnessValidation | |
| Kleines Validierungs-Repo fuer eine einzige Frage: | |
| "Wie veraendert sich derselbe Harness, wenn OpenClaude von Opus 4.7 auf GPT-5.4 umgestellt wird?" | |
| ## Scope | |
| Nur Validierung. | |
| Kein Produkt. | |
| Kein Dashboard zuerst. | |
| Keine Meta-Architektur. | |
| ## Was hier als Naechstes zu tun ist | |
| 1. Einen kleinen festen Testkatalog definieren | |
| - 3 bis 5 Prompts | |
| - gleiche Prompts fuer beide Modelle | |
| - gleiche Harness-Bedingungen | |
| 2. Eine minimale Run-Struktur festlegen | |
| - Modellname | |
| - Prompt | |
| - Antwort | |
| - Tool-Calls | |
| - Laufzeit | |
| - Exit/Done-Zustand | |
| - kurze Judge-Notiz | |
| 3. Fuer jeden Testfall zwei Runs sammeln | |
| - einmal OpenClaude mit Opus 4.7 | |
| - einmal OpenClaude mit GPT-5.4 | |
| 4. Die Ergebnisse als einfache JSON-Dateien abspeichern | |
| - noch keine Datenbank | |
| - noch keine komplexe Pipeline | |
| 5. Erst danach eine Auswertung bauen | |
| - Unterschiede markieren | |
| - keine Annahmen mehr, sondern echte Laeufe vergleichen | |
| ## Nicht jetzt | |
| - kein grosses Benchmark-System | |
| - keine automatische Judge-Infrastruktur | |
| - keine neue Multi-Agent-Architektur | |
| - keine Website zuerst | |
| ## Ziel | |
| Von "plausibel erzaehlter Unterschied" zu "mit echten Runs belegter Unterschied". | |